hadoop2

6calore

1risposta

Come leggo i file parquet usando `ssc.fileStream()`, e qual è la natura dei tipi passati a `ssc.fileStream()`

La mia comprensione del metodo fileStream() di Spark è che ci vogliono tre tipi come parametri - K ey, V alore e F ormat. Nel caso di file di testo, i tipi appropriati sono LongWritable, Text e TextIn

7calore

1risposta

Ottieni una configurazione di filato dalla riga di comando

In EMR, c'è un modo per ottenere un valore specifico della configurazione data la chiave di configurazione utilizzando il comando yarn? Per esempio vorrei fare qualcosa di simile yarn get-config yarn.

8calore

1risposta

Hadoop 2,0 nome nodo, nodo secondario e il nodo Checkpoint per High Availability

Dopo aver letto Apache Hadoop documentation, c'è una piccola confusione nel capire le responsabilità del nodo & controllo nodo punto secondario Sono chiaro su NameNode ruolo e le responsabilità : i ne

5calore

4risposta

Dove è impostato il percorso di classe per hadoop

Dove si trova il percorso di classe per hadoop impostato? Quando eseguo il comando seguente, mi dà il classpath. Dove è impostato il classpath? bin/hadoop classpath sto utilizzando Hadoop 2.6.0

5calore

6risposta

Errore HDFS: "input": nessun file o directory

Ho installato hadoop 2.6.0 e ci sto provando. Sto cercando la messa a punto Pseudo-distribuito e sto seguendo le istruzioni sul http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/

7calore

3risposta

Impossibile trovare o caricare la classe principale com.sun.tools.javac.Main hadoop mapreduce

Sto cercando di imparare MapReduce ma sono un po 'perso in questo momento. http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Usage In par

6calore

1risposta

Trova il nome utente che ha ucciso il lavoro Hadoop

C'è un modo per trovare il nome dell'utente che ha ucciso il lavoro Hadoop? Non ho accesso di root sul nodo Hadoop 2.6.0 nodi in modo da poter utilizzare solo gli strumenti della riga di comando Hadoo

6calore

2risposta

Richiesta client alta disponibilità Namenode

Qualcuno può dirmi che Se sto usando l'applicazione java per richiedere alcune operazioni di upload/download di file su HDFS con l'installazione HA Namenode, Dove questa richiesta va prima? Voglio dir

7calore

1risposta

può essere replicato solo su 0 nodi invece di minReplication (= 1). Ci sono 4 DataNode (s) in esecuzione e nessun nodo (s) sono esclusi in questa operazione

non so come risolvere questo errore: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, taskId=task_1449805139484_0001_1_00_000003, diagnostics=[A

6calore

1risposta

Cos'è la memoria riservata su Yarn

Sono riuscito a lanciare un'applicazione spark su Yarn. Tuttavia l'utilizzo Emory è un po 'strano, come potete vedere qui sotto: http://imgur.com/1k6VvSI Cosa memoria riservata significa? Come posso g