rdd

11calore

2risposta

Spark: differenza di semantica tra riduzione e riduzione. KEY

Nella documentazione di Spark, si afferma che il metodo RDDs reduce richiede una funzione binaria associativa AND commutativa. Tuttavia, il metodo reduceByKey richiede SOLO una funzione binaria associ

10calore

1risposta

uguaglianza della classe caso in Apache Spark

Perché la corrispondenza del modello in Spark non funziona come in Scala? Vedi esempio sotto ... la funzione f() tenta di eseguire lo schema di corrispondenza sulla classe, che funziona nel REPL di Sc

13calore

1risposta

Stackoverflow dovuto al lungo RDD Lineage

Ho migliaia di piccoli file in HDFS. È necessario elaborare un sottoinsieme leggermente più piccolo di file (che è di nuovo in migliaia), fileList contiene un elenco di percorsi file che devono essere

8calore

1risposta

predefinito Schema di partizionamento in Spark

Quando eseguire sotto comando: scala> val rdd = sc.parallelize(List((1,2),(3,4),(3,6)),4).partitionBy(new HashPartitioner(10)).persist() rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ShuffledRDD[10] at

8calore

1risposta

Qual è la differenza tra Spark DataSet e RDD

Sto ancora lottando per comprendere tutta la potenza dei set di dati Spark introdotti di recente. Esistono best practice su quando utilizzare gli RDD e quando utilizzare i set di dati? Nei loro announ

52calore

1risposta

Che cosa significa "Stage saltato" significa nell'interfaccia utente web di Apache Spark?

Dall'interfaccia utente di Spark. Cosa significa saltare?

9calore

1risposta

Che cos'è un glom ?. Com'è diverso da mapPartitions?

Mi sono imbattuto nel metodo glom() su RDD. Come per la documentazione restituire un RDD creato da coalescenza tutti gli elementi all'interno di ogni partizione in un array Vuol glom mischiare le dati

5calore

1risposta

In che modo Spark decide come partizionare un RDD?

Supponiamo che io creo un tale RDD (sto usando Pyspark): list_rdd = sc.parallelize(xrange(0, 20, 2), 6) poi stampare gli elementi partizionato con il metodo glom() e ottenere [[0], [2, 4], [6, 8], [

18calore

2risposta

numero di partizioni in RDD e prestazioni in Spark

In Pyspark, posso creare un RDD da una lista e decidere quante partizioni di avere: sc = SparkContext() sc.parallelize(xrange(0, 10), 4) Come funziona il numero di partizioni decido di partizionare

9calore

1risposta

Come si inserisce una case case in un rdd e si comporta come una tupla (coppia)?

diciamo per esempio, ho una semplice classe caso case class Foo(k:String, v1:String, v2:String) Posso ottenere scintilla di riconoscere questo come una tupla ai fini di una cosa del genere, senza co