parquet

7calore

2risposta

Lettura dataframe da file parquet partizionata

Come leggere parquet partizionato con condizioni come dataframe, questo funziona bene, val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=20

5calore

1risposta

versione parquet utilizzata per scrivere un file

c'è un modo per scoprire quale versione parquet è stata utilizzata per scrivere un file parquet in HDFS? Sto provando a vedere se vari file sono stati scritti usando la stessa versione parquet o versi

12calore

1risposta

Evoluzione dello schema in formato parquet

Attualmente stiamo utilizzando il formato dati Avro in produzione. Fuori da N punti positivi di Avro, sappiamo che è buono nell'evoluzione dello schema. Ora stiamo valutando Formato parquet a causa de

17calore

2risposta

Metodi per scrivere file Parquet usando Python?

Ho difficoltà a trovare una libreria che permetta ai file Parquet di essere scritti usando Python. Punti bonus se posso usare Snappy o un meccanismo di compressione simile in congiunzione con esso. Fi

7calore

1risposta

Spark SQL: Perché due processi per una query?

Esperimento ho provato il seguente frammento su Spark 1.6.1. val soDF = sqlContext.read.parquet("/batchPoC/saleOrder") # This has 45 files soDF.registerTempTable("so") sqlContext.sql("select dpHour,

8calore

1risposta

Utilizzo di tabella alveare su parquet in Pig

Sto cercando di creare una tabella Hive con lo schema stringa, stringa, doppio su una cartella contenente due file Parquet. Il primo schema di file parquet è string, string, double e lo schema del sec

13calore

2risposta

L'utilizzo di Spark per scrivere un file parquet su s3 su s3a è molto lento

Sto cercando di scrivere un file parquet su Amazon S3 utilizzando Spark 1.6.1. Il piccolo parquet che sto generando è ~2GB una volta scritto quindi non si tratta di molti dati. Sto cercando di dimostr

12calore

2risposta

Aggiunta di nuovi dati a file di parquet partizionati

Sto scrivendo un processo ETL in cui sarà necessario leggere i file di registro orari, suddividere i dati e salvarli. Sto usando Spark (in Databricks). I file di registro sono CSV quindi li leggo e ap

5calore

1risposta

Come impostare spark.sql.parquet.output.committer.class in pyspark

Sto provando a impostare spark.sql.parquet.output.committer.class e non sembra che le impostazioni abbiano effetto. Sto cercando di scrivere più thread sulla stessa cartella di output, che funzionereb

8calore

3risposta

Ispezionare Parquet dalla riga di comando

Come si controlla il contenuto di un file Parquet dalla riga di comando? L'unica possibilità che vedo ora è $ hadoop fs -get my-path local-file $ parquet-tools head local-file | less Vorrei Evitare