mapreduce

5calore

1risposta

Abbiamo un oggetto con proprietà annidate che vogliamo rendere facilmente ricercabili. Questo è stato abbastanza semplice da raggiungere, ma vogliamo anche aggregare informazioni basate su più campi.

5calore

1risposta

Modifica prefisso nome file di output per DataFrame.write()

I file di output generati tramite il metodo Spark SQL DataFrame.write() iniziano con il prefisso "part". per esempio. DataFrame sample_07 = hiveContext.table("sample_07"); sample_07.write().parquet("

10calore

1risposta

generazione personalizzata join logica in cascata garantire MAP_SIDE solo

Ho 3 tubi a cascata (uno aderire contro altri due) come descritto di seguito, LHSPipe - (maggiore dimensioni) RHSPipes - (dimensioni più piccole che potrebbe in forma per memo ry) psuedocodarlo come s

9calore

3risposta

Conversione da IntWritatble a int

Ho il seguente codice e non ho capito perché il metodo get() è stato utilizzato nella riga evidenziata. Se rimuovo il metodo get() mi genera un errore. Ciò che posso ricavarne è il metodo: get() resti

14calore

2risposta

Qual è il successore di mrunit?

Oggi ho scoperto che la mrunit ritirata ASF (vedere https://blogs.apache.org/foundation/entry/the_apache_news_round_up85 e https://issues.apache.org/jira/browse/HADOOP-3733 e homepage itself). A parte

6calore

1risposta

Set disgiunto su scintilla apache

Sto cercando di trovare un algoritmo di ricerca di set disgiunti (componenti collegati/union-find) su una grande quantità di dati con scintilla di apache. Il problema è la quantità di dati. Anche la r

5calore

1risposta

Qual è il modo più efficiente per eseguire una riduzione ordinata in PySpark?

Sto analizzando i record delle prestazioni in tempo reale dei voli nazionali statunitensi a partire dal 2015. Devo raggruppare per numero di coda e archiviare una lista ordinata di tutti i voli per ci

5calore

1risposta

È possibile stampare l'output di Mapper e riduttore per un singolo lavoro in Hadoop Mapreduce

Per un dato lavoro MR, ho bisogno di produrre due file di output. Un file dovrebbe essere l'uscita del Mapper Un altro file dovrebbe essere l'uscita del riduttore (che è solo un'aggregazione di sopra

5calore

5risposta

IllegalAccessError a cronometro di guava da org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus

sto cercando di eseguire l'applicazione piccola scintilla e sto ottenendo il seguente eccezione: Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.

6calore

2risposta

Numero predefinito di riduttori

In Hadoop, se non è stato impostato il numero di riduttori, quanti quanti riduttori verranno creati? Un numero simile di mapper dipende da (dimensione dati totale)/(dimensione di divisione dell'input)