rdd

6calore

1risposta

Come convertire scala.collection.Set in java.util.Set con serializzabile in un RDD

Ho una scala.collection.Set scalaSet : Set[Long]. Come sarà possibile convertirlo in un java.util.Set con serializzabile. Ho provato il seguente codice, ma ho ottenuto java.io.notserializableexception

java serialization apache-spark scala-2.9 rdd 2014-07-19

---

8calore

2risposta

Spark - scala: shuffle RDD/split RDD in due parti casuali in modo casuale

Come posso prendere un array di sparkle rdd e dividerlo in due rdds in modo casuale così ogni rdd includerà una parte di dati (diciamo 97% e 3 %). ho pensato di mischiare la lista e poi shuffledList.t

scala apache-spark rdd 2014-07-21

---

42calore

2risposta

Come funziona DAG sotto le copertine in RDD?

Il Spark research paper ha prescritto un nuovo modello di programmazione distribuito rispetto al classico Hadoop MapReduce, rivendicando la semplificazione e l'enorme aumento delle prestazioni in molt

apache-spark rdd directed-acyclic-graphs 2014-09-14

---

12calore

2risposta

Come posso ottenere una posizione dell'elemento nell'RDD di Spark?

Sono nuovo ad Apache Spark e so che la struttura dei dati di base è RDD. Ora sto scrivendo alcune app che richiedono informazioni posizionali sugli elementi. Ad esempio, dopo aver convertito un ArrayL

position apache-spark rdd 2014-09-25

---

19calore

1risposta

Convertire una semplice stringa di una riga di RDD in Spark

Ho una linea semplice: line = "Hello, world" Vorrei convertirlo in un RDD con un solo elemento. Ho provato sc.parallelize(line) Ma ottenere: sc.parallelize(line).collect() ['H', 'e', 'l', 'l', 'o

python apache-spark pyspark distributed-computing rdd 2014-10-02

---