Come creare Spark RDD da un iteratore?

Question

Per chiarire, io non sono alla ricerca di RDD da un array/lista come

List<Integer> list = Arrays.asList(1, 2, 3, 4, 5, 6, 7); // sample 
JavaRDD<Integer> rdd = new JavaSparkContext().parallelize(list); 

Come si crea un RDD scintilla da un iteratore Java senza completamente buffer nella memoria?

Iterator<Integer> iterator = Arrays.asList(1, 2, 3, 4).iterator(); //sample iterator for illustration 
JavaRDD<Integer> rdd = new JavaSparkContext().what("?", iterator); //the Question 

domanda supplementare:

E 'un requisito per la sorgente di essere ri-leggibile (o in grado di leggere molte volte) per offrire resilienza per RDD? In altre parole, dal momento che gli iteratori sono fondamentalmente di sola lettura, è persino possibile creare resilient dataset distribuiti (RDD) dagli iteratori?

Answer 1

Come qualcuno ha detto, si potrebbe fare qualcosa con la scintilla in streaming, ma per quanto riguarda la scintilla pura, non è possibile, e la ragione è che ciò che stai chiedendo va contro il modello di scintilla. Lasciatemi spiegare. Per distribuire e parallelizzare il lavoro, la scintilla deve dividerla in blocchi. Durante la lettura da HDFS, quel "chunking" è fatto per Spark di HDFS, poiché i file HDFS sono organizzati in blocchi. Spark genererà generalmente un'attività per blocco. Ora, gli iteratori forniscono solo accesso sequenziale ai dati, quindi è impossibile per la scintilla organizzarla in blocchi senza leggerli tutti in memoria.

Potrebbe essere possibile creare un RDD con una singola partizione iterabile, ma anche in questo caso, è impossibile dire se l'implementazione di Iterable possa essere inviata ai lavoratori. Quando si utilizza sc.parallelize() spark crea partizioni che implementano serializable in modo che ciascuna partizione possa essere inviata a un altro worker. L'iterabile potrebbe essere su una connessione di rete, o file nella FS locale, quindi non possono essere inviati ai lavoratori a meno che non siano memorizzati in memoria.