hdfs

12calore

3risposta

La migliore compressione splittabile per input Hadoop = bz2?

Abbiamo capito un po 'troppo tardi che archiviare i nostri file in formato GZip per l'elaborazione Hadoop non è una grande idea. GZip non è scindibile, e per riferimento, qui ci sono i problemi che no

16calore

4risposta

Unione di file hdfs

Ho più di 1000 file disponibili in HDFS con una convenzione di denominazione da 1_fileName.txt a N_fileName.txt. La dimensione di ciascun file è 1024 MB. Ho bisogno di unire questi file in uno (HDFS)

12calore

6risposta

ottenere valori null durante il caricamento dei dati da file flat in tabelle alveari

Ricevo i valori null durante il caricamento dei dati da file flat in tabelle hive. mia struttura tabelle è come questo: hive> create table test_hive (id int,value string); e il mio file flat è come

7calore

1risposta

C'è ln in hadoop HDFS

C'è ln -s in hadoop HDFS? Per esempio: Ho 10 file in HDFS /user/hadoop/input, che è 1.txt, 2.txt ... 10.txt Un altro dir in HDFS è /user/hadoop/test Voglio solo copia 1 di file /user/hadoop/input/1.tx

14calore

12risposta

Scrivendo a HDFS da Java, ottenendo "potrebbe essere riprodotto solo per 0 nodi invece di minReplication"

Ho scaricato ed avviato Cloudera Hadoop Demo VM per CDH4 (in esecuzione Hadoop 2.0.0). Sto cercando di scrivere un programma Java che verrà eseguito dalla mia macchina Windows 7 (la stessa macchina/si

8calore

5risposta

alveare - come far cadere tavolo alveare esterna insieme ai dati

Sto usando drop table <table_name> Se ricreare la tabella con lo stesso schema e il nome, io sono sempre i vecchi dati indietro. Devo rimuovere la directory della tabella dal file system hdfs per el

10calore

4risposta

È possibile importare dati nella tabella Hive senza copiare i dati

I file di registro sono memorizzati come testo in HDFS. Quando carico i file di registro in una tabella Hive, tutti i file vengono copiati. Posso evitare di memorizzare tutti i miei dati di testo due

30calore

5risposta

Hive carico CSV con le virgole nei campi citati

Sto cercando di caricare un file CSV in una tabella Hive in questo modo: CREATE TABLE mytable ( num1 INT, text1 STRING, num2 INT, text2 STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ",";

7calore

1risposta

Trasmettere dati direttamente in hdf senza copiare

Sto cercando diverse opzioni tramite le quali posso scrivere i dati direttamente in hdf usando python senza archiviare sul nodo locale e quindi usando copyfromlocal. Vorrei utilizzare file simile al m

15calore

2risposta

Selezione colonne da panda. Tabella HDFS

Come posso recuperare colonne specifiche da un HDFStore panda? Lavoro regolarmente con insiemi di dati molto grandi che sono troppo grandi per essere manipolati in memoria. Vorrei leggere in un file c