Come posso raccogliere una singola colonna in Spark?

Question

Vorrei eseguire un'azione su una singola colonna. Sfortunatamente, dopo aver trasformato quella colonna, ora non fa più parte del dataframe da cui proviene, ma un oggetto Colonna. In quanto tale, non può essere raccolto.

Ecco un esempio:

df = sqlContext.createDataFrame([Row(array=[1,2,3])]) 
df['array'].collect() 

Questo produce il seguente errore:

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
TypeError: 'Column' object is not callable 

Come posso utilizzare la funzione collect() su una sola colonna?

Answer 1

Basta selezionare e flatMap:

df.select("array").flatMap(lambda x: x).collect() 
## [[1, 2, 3]] 

---

Modifica 23/1/2017

Partendo da Spark 2.0.0 è necessario specificare esplicitamente .rdd al fine di utilizzare flatMap

df.select("array").rdd.flatMap(lambda x: x).collect()