rdd

7calore

2risposta

Come verificare se Spark RDD è in memoria?

Ho un'istanza di org.apache.spark.rdd.RDD [MyClass]. Come posso controllare a livello di codice se l'istanza è persistente \ inmemory?

5calore

2risposta

Come aggiungere una nuova colonna a un RDD Spark?

Ho un RDD con MOLTE colonne (ad esempio, centinaia di), come si aggiunge un'altra colonna alla fine di questo RDD? Per esempio, se il mio RDD è come di seguito: 123, 523, 534, ..., 893 536, 98, 1

7calore

1risposta

Spark JSON campo di testo per RDD

Ho un tavolo cassandra con un campo di tipo testo denominato snapshot contenente oggetti JSON: [identifier, timestamp, snapshot] ho capito che per essere in grado di fare le trasformazioni su quel c

5calore

1risposta

Spark RDD checkpoint persistito RDDs/cache sta eseguendo il DAG due volte

Quando eseguo il codice come il seguente: val newRDD = prevRDD.map(a => (a._1, 1L)).distinct.persist(StorageLevel.MEMORY_AND_DISK_SER) newRDD.checkpoint print(newRDD.count()) e guardare le varie f

11calore

2risposta

Apache Spark: Qual è l'implementazione equivalente di RDD.groupByKey() utilizzando RDD.aggregateByKey()?

I documenti API Apache Spark pyspark.RDD menzionano che groupByKey() è inefficiente. Invece, si consiglia di utilizzare reduceByKey(), aggregateByKey(), combineByKey() o foldByKey(). Ciò comporterà un

11calore

1risposta

Esiste un "Spiega RDD" scintille

In particolare, se dico rdd3 = rdd1.join(rdd2) poi quando chiamo rdd3.collect, a seconda del Partitioner utilizzato, sia dati vengono spostati tra le partizioni nodi, o è fatto il join localmente su

5calore

3risposta

Come caricare i dati dal file salvato con Spark

Spark fornisce il metodo saveAsTextFile che può memorizzare facilmente RDD[T] su disco o hdf. T è una classe serializzabile arbitraria. Voglio invertire l'operazione. Mi chiedo se esiste uno loadFromT

6calore

1risposta

relazione tra RDD, partizioni e nodi

Ho letto degli RDD e di come varie trasformazioni sono influenzate dalle partizioni e di come alcune trasformazioni influiscano sulle partizioni stesse. Mentre capisco questo, non sono in grado di col

8calore

1risposta

Come posso unire efficientemente un grande rdd ad una grande rdd in spark?

Ho due RDD. Un RDD è compreso tra 5-10 milioni di voci e l'altro RDD è compreso tra 500 milioni e 750 milioni di voci. Ad un certo punto, devo unire questi due rdds usando una chiave comune. val rddA

10calore

2risposta

Scintilla quando unione un sacco di RDD genera errore di overflow dello stack

Quando uso "++" per combinare un sacco di RDD, ho ottenuto errori di stack in caso di errore di flusso. Spark versione 1.3.1 Ambiente: filato-cliente. --driver-memory 8G Il numero di RDD è superiore a