mapreduce

12calore

2risposta

Impossibile riportare lo stato per 600 secondi. Uccidere! Stato del procedimento di Hadoop

ricevo il seguente errore: Task attempt_201304161625_0028_m_000000_0 failed to report status for 600 seconds. Killing! per i miei lavori mappa. Questa domanda è simile a this, this e this. Tuttavia,

9calore

5risposta

Esiste un semplice framework per la riduzione delle mappe Python che utilizza il normale filesystem?

Ho alcuni problemi che potrebbero applicarsi bene al modello di ridimensionamento della mappa. Mi piacerebbe sperimentare con la loro implementazione, ma in questa fase non voglio correre il problema

5calore

2risposta

Stessa chiave di riduttori diversi (HADOOP)?

è possibile elaborare valori con la stessa chiave su diversi riduttori? da tutti i mapper ho i dati con la stessa chiave e voglio elaborarli con diversi riduttori? la mia confusione è che il libro dic

27calore

3risposta

Vantaggi dell'utilizzo di NullWritable in Hadoop

Quali sono i vantaggi dell'utilizzo di chiavi/valori utilizzando null testi (ad esempio new Text(null)). Vedo quanto segue dal libro «Hadoop: The Definitive Guide». NullWritable è un tipo speciale di

33calore

1risposta

supporto gzip in Spark

Per un progetto Big Data, sto pianificando di utilizzare spark, che ha alcune caratteristiche interessanti come i calcoli in memoria per carichi di lavoro ripetuti. Può essere eseguito su file locali

11calore

1risposta

IPython.parallel non usa il multicore?

Sto sperimentando con IPython.parallel e voglio solo lanciare diversi comandi di shell su motori diversi. Ho il seguente Notebook: cellulare 0: from IPython.parallel import Client client = Client()

8calore

1risposta

Come posso produrre risultati hadoop in formato csv

Ho bisogno di stampare il risultato del mio hadoop in formato .csv. come faccio? Il mio codice: https://github.com/studhadoop/xml/blob/master/XmlParser11.java devo semplicemente includere csvoutputFor

6calore

1risposta

Output profilo Hadoop: dove e cosa?

Sto provando a profilare la mia applicazione per vedere se riesco a riprodurre this blogpost. Ho aggiunto -D mapred.task.profile = true alla riga di comando e ho controllato la configurazione del lavo

5calore

2risposta

Come trovare il numero ottimale di mapper durante l'importazione e l'esportazione di Sqoop?

Sto usando Sqoop versione 1.4.2 e database Oracle. Quando si esegue il comando Sqoop. Ad esempio come questo: ./sqoop import \ --fs <name node> \ --jt <job tracker> \

13calore

1risposta

Emettere un elenco da una mappa Hadoop Ridurre il lavoro utilizzando la scrittura personalizzata

Sto provando a creare una mappa semplice ridurre il lavoro modificando l'esempio di wordcount fornito da hadoop. Sto provando a mettere una lista invece di un conteggio delle parole. L'esempio wordcou