hadoop-streaming

9calore

6risposta

Esistono librerie di apprendimento automatico distribuite per l'utilizzo di Python con Hadoop?

Mi sono impostato con Amazon Elastic MapReduce per preformare varie attività di apprendimento automatico standard. Ho usato Python estesamente per l'apprendimento automatico locale in passato e non co

5calore

3risposta

l'esecuzione del codice Python su Hadoop Respinti

ho cercato di seguire le istruzioni in questa pagina: http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/ $bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.4.jar

12calore

1risposta

Hadoop streaming con C# e Mono: IdentityMapper utilizzato in modo errato

I file eseguibili di mapper e riduttore sono scritti in C#. Voglio usarli con lo streaming Hadoop. Questo è il comando che sto usando per creare il lavoro Hadoop ... hadoop jar $HADOOP_HOME/contrib/st

5calore

1risposta

Configurazione Hadoop errore

Sto tentando di avviare la mia domanda Hadoop, tuttavia all'avvio sto vedendo questo nei file di registro, qualcuno ha la minima idea di quale sia il problema? Creazione filesystem per HDFS: //10.170.

10calore

3risposta

Come importare un modulo personalizzato in un lavoro MapReduce?

ho un lavoro MapReduce definito main.py, che importa il modulo lib da lib.py. Io uso Hadoop streaming di presentare questo lavoro al cluster Hadoop come segue: hadoop jar /usr/lib/hadoop-mapreduce/had

5calore

2risposta

Carica file compressi con snappy in Elastic MapReduce

Ho un sacco di log di server compressi snappy in S3 e devo elaborarli utilizzando lo streaming su Elastic MapReduce. Come faccio a comunicare ad Amazon e Hadoop che i log sono già compressi (prima che

5calore

1risposta

Hadoop 2.4.0 in streaming opzioni parser generico utilizzando TAB come separatore

So che la scheda è separatore di input predefinito per i campi: stream.map.output.field.separator stream.reduce.input.field.separator stream.reduce.output.field.separator mapreduce.textoutputformat

14calore

1risposta

Come posso inviare più di un lavoro a Hadoop in una fase utilizzando l'API Elastic MapReduce?

Amazon EMR Documentation to add steps to cluster afferma che un singolo passo Elastic MapReduce può inviare diversi lavori a Hadoop. Tuttavia, Amazon EMR Documentation for Step configuration suggerisc

8calore

2risposta

Hadoop: processo viene eseguito bene su più piccolo insieme di dati ma non riesce con ampio insieme di dati

Ho una seguente situazione ho 3 macchine cluster con seguente confirguration. Master Usage of /: 91.4% of 74.41GB MemTotal: 16557308 kB MemFree: 723736 kB Slave 01 Usage of /: 52.9% of 29.76GB

5calore

2risposta

Streaming di framework su Hadoop che supportano ORC, formati di file parquet

Lo streaming Hadoop supporta i nuovi formati di archiviazione colonnari come ORC e parquet o ci sono framework su Hadoop che consentono di leggere tali formati?