Ottieni l'elenco dei tipi di dati dallo schema in Apache Spark

Question

Ho il seguente codice in Spark-Python per ottenere l'elenco di nomi dallo schema di un DataFrame, che funziona bene, ma come posso ottenere l'elenco dei tipi di dati ?

columnNames = df.schema.names 

Per esempio, qualcosa come:

columnTypes = df.schema.types 

C'è un modo per ottenere una lista separata dei tipi di dati contenuti in uno schema dataframe?

Answer 1

Ecco un suggerimento:

df = sqlContext.createDataFrame([('a', 1)]) 

types = [f.dataType for f in df.schema.fields] 

types 
> [StringType, LongType] 

Riferimento:

• pyspark.sql.types.StructType
• pyspark.sql.types.StructField