Concatenazione di serie di dati di diversi RDD nella scintilla di Apache utilizzando scala

Question

Esiste un modo per concatenare set di dati di due diversi RDD s nella scintilla?

Il requisito è: creo due RDD intermedi utilizzando scala con gli stessi nomi di colonna, è necessario combinare questi risultati di entrambi gli RDD e memorizzare nella cache il risultato per l'accesso all'interfaccia utente. Come posso combinare i set di dati qui?

RDDs sono di tipo spark.sql.SchemaRDD

Answer 1

Penso che si sta cercando RDD.union

val rddPart1 = ??? 
val rddPart2 = ??? 
val rddAll = rddPart1.union(rddPart2) 

Esempio (su Spark-shell)

val rdd1 = sc.parallelize(Seq((1, "Aug", 30),(1, "Sep", 31),(2, "Aug", 15),(2, "Sep", 10))) 
val rdd2 = sc.parallelize(Seq((1, "Oct", 10),(1, "Nov", 12),(2, "Oct", 5),(2, "Nov", 15))) 
rdd1.union(rdd2).collect 

res0: Array[(Int, String, Int)] = Array((1,Aug,30), (1,Sep,31), (2,Aug,15), (2,Sep,10), (1,Oct,10), (1,Nov,12), (2,Oct,5), (2,Nov,15)) 

Answer 2

Ho avuto lo stesso problema. Per combinare per fila anziché mediante l'utilizzo colonna unionAll:

val rddPart1= ??? 
val rddPart2= ??? 
val rddAll = rddPart1.unionAll(rddPart2) 

ho trovato dopo aver letto la sintesi metodo di frame di dati. Maggiori informazioni su: https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/DataFrame.html