pySpark Crea DataFrame da RDD con chiave/valore

Question

Se si dispone di un RDD di chiave/valore (la chiave è l'indice della colonna) è possibile caricarlo in un dataframe? Per esempio:

(0,1), (0,1), (0,2), (1,2), (1,10), (1,20), (3,18), (3,18), (3,18) 

e hanno l'aspetto dataframe come:

1,2,18 
1,10,18 
2,20,18 

Answer 1

Sì è possibile (testato con Spark 1.3.1):

>>> rdd = sc.parallelize([(0,1), (0,1), (0,2), (1,2), (1,10), (1,20), (3,18), (3,18), (3,18)]) 
>>> sqlContext.createDataFrame(rdd, ["id", "score"]) 
Out[2]: DataFrame[id: bigint, score: bigint] 

Answer 2

rdd = sc.parallelize([(0,1), (0,1), (0,2), (1,2), (1,10), (1,20), (3,18), (3,18), (3,18)]) 

df=rdd.toDF(['id','score']) 

df.show() 

risposta è:

+---+-----+ 
| id|score| 
+---+-----+ 
| 0| 1| 
| 0| 1| 
| 0| 2| 
| 1| 2| 
| 1| 10| 
| 1| 20| 
| 3| 18| 
| 3| 18| 
| 3| 18| 
+---+-----+