parquet

12calore

3risposta

Voglio usare il parquet in uno dei miei progetti come magazzino colonnare. Ma non voglio dipendere dalle librerie hadoop/hdfs. È possibile utilizzare il parquet al di fuori dell'hdf? O Qual è la dipen

13calore

3risposta

Come leggo un Parquet in R e lo converto in un R DataFrame?

Vorrei elaborare i file Apache Parquet (nel mio caso, generato in Spark) nel linguaggio di programmazione R. È disponibile un lettore R? O il lavoro viene svolto su uno? In caso contrario, quale sareb

9calore

2risposta

come leggere un file parquet, in un codice java standalone?

i documenti di parquet di Cloudera mostrano esempi di integrazione con maiale/alveare/impala. ma in molti casi voglio leggere il file parquet stesso a scopo di debug. c'è una semplice API di java read

17calore

2risposta

Index in Parquet

Mi piacerebbe essere in grado di fare una query di intervallo veloce su un tavolo da Parquet. La quantità di dati da restituire è molto piccola rispetto alla dimensione totale, ma poiché deve essere e

13calore

2risposta

Come leggere e scrivere la mappa <String, Object> da/al file parquet in Java o Scala?

Cerchi un esempio conciso su come leggere e scrivere Map<String, Object> da/su file parquet in Java o Scala? Qui è prevista la struttura, utilizzando com.fasterxml.jackson.databind.ObjectMapper come s

10calore

2risposta

Aggiornamento dei valori nel file di file apache

Ho un file di parquet piuttosto pesante in cui è necessario modificare i valori per una colonna. Un modo per farlo sarebbe quello di aggiornare quei valori nei file di testo sorgente e ricreare il fil

8calore

3risposta

Come caricare in modo efficiente file di Parquet in Spark (pySpark v1.2.0)

Sto caricando file di parquet ad alta dimensionalità ma ho bisogno solo di poche colonne. Il mio codice attuale assomiglia: dat = sqc.parquetFile(path) \ .filter(lambda r: len(r.a)>0) \

7calore

1risposta

Salvataggio di un >> 25T SchemaRDD in formato Parquet su S3

Ho riscontrato un certo numero di problemi durante il tentativo di salvare uno SchemaRDD molto grande come nel formato Parquet su S3. Ho già postato domande specifiche per questi problemi, ma questo è

10calore

3risposta

errore parquet durante il salvataggio da Spark

Dopo la ripartizione di un dataframe in Spark 1.3.0 ottengo un'eccezione .parquet da salvare in S3 di Amazon. logsForDate .repartition(10) .saveAsParquetFile(destination) // <-- Exception he

17calore

4risposta

Come leggere una raccolta nidificato in Spark

Ho una tabella parquet con una delle colonne essendo , serie < struct < col1, col2, .. Coln >> può funzionare query su questa tabella in Hive usando la sintassi LATERAL VIEW. Come leggere questa tabel