Lettura dataframe da file parquet partizionata

Question

Come leggere parquet partizionato con condizioni come dataframe,

questo funziona bene,

val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=2015/month=10/day=25/*") 

partizione è lì per day=1 to day=30 è possibile leggere qualcosa di simile (day = 5 to 6) o day=5,day=6,

val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=2015/month=10/day=??/*") 

Se metto * mi dà tutti i 30 giorni di dati ed è troppo grande.

Answer 1

sqlContext.read.parquet può assumere più percorsi come input. Se si desidera solo day=5 e day=6, si può semplicemente aggiungere due percorsi come:

val dataframe = sqlContext 
     .read.parquet("file:///your/path/data=jDD/year=2015/month=10/day=5/", 
        "file:///your/path/data=jDD/year=2015/month=10/day=6/") 

Se si dispone di cartelle in day=X, come dicono country=XX, country verrà automaticamente aggiunto come una colonna nel dataframe.

MODIFICA: A partire da Spark 1.6 è necessario fornire un'opzione "base" per consentire a Spark di generare automaticamente le colonne. Nel Spark 1.6.x quanto sopra avrebbe dovuto essere riscritto come questo per creare un dataframe con le colonne "dati", "anno", "mese" e "giorno":

val dataframe = sqlContext 
    .read 
    .option("basePath", "file:///your/path/") 
    .parquet("file:///your/path/data=jDD/year=2015/month=10/day=5/", 
        "file:///your/path/data=jDD/year=2015/month=10/day=6/") 

Answer 2

è necessario per fornire l'opzione mergeSchema = true. come indicato di seguito (questo è da 1.6.0):

val dataframe = sqlContext.read.option("mergeSchema", "true").parquet("file:///your/path/data=jDD") 

Questo leggerà tutti i file in parquet in dataframe e crea anche le colonne anno, mese e giorno nei dati dataframe.

Rif: https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#schema-merging