cloudera

14calore

5risposta

problema Esecuzione Spark lavoro su cluster Yarn

voglio correre la mia scintilla di lavoro nel Hadoop FILATO modalità cluster, e sto usando il seguente comando: spark-submit --master yarn-cluster --driver-memory 1g --executor-memory 1g

11calore

5risposta

Accesso alla tonalità su Docker Docker QuickStart

Ho installato il quick start di cloudera utilizzando la finestra mobile in base alle istruzioni fornite qui. https://blog.cloudera.com/blog/2015/12/docker-is-the-new-quickstart-option-for-apache-hadoo

5calore

1risposta

Nodi SENZA SALUTE YARN

Nel nostro cluster YARN che è pieno all'80%, stiamo vedendo alcuni dei nodemanager del filato contrassegnati come NON SANO. dopo aver scavato nei registri ho trovato il suo perché lo spazio su disco è

7calore

1risposta

filato non onora filato.nodemanager.resource.cpu-vcores

Sto usando Hadoop-2.4.0 e le mie configurazioni di sistema sono 24 core, 96 GB di RAM. Sto usando seguenti configurazioni mapreduce.map.cpu.vcores=1 yarn.nodemanager.resource.cpu-vcores=10 yarn.sche

12calore

1risposta

Esegui esecutore spark su YARN

Sto lanciando un'applicazione Spark distribuita in modalità client YARN, su un cluster Cloudera. Dopo un po 'di tempo vedo alcuni errori su Cloudera Manager. Alcuni esecutori vengono scollegati e ques

9calore

1risposta

non fornisce CLI con il messaggio "il supporto jline è disabilitato" messaggio

Ho appena richiamato CDH 5.4 e ho installato zookeeper. Ho usato zkCli con successo molte volte prima. Questa volta il lancio riga di comando si ferma prima di arrivare al prompt con Welcome to ZooKee

6calore

3risposta

Cluster Hadoop a più nodi con finestra mobile

Sono in fase di pianificazione di un cluster multivoda Hadoop in un ambiente basato su Docker. Quindi dovrebbe essere basato su un sistema virtualizzato leggero e facile da usare. L'architettura corre

5calore

3risposta

Eccezione in esecuzione /etc/hadoop/conf.cloudera.yarn/topology.py

Ogni volta che provo a eseguire un'applicazione Spark su un cluster Cloudera CDH 5.4.4, modalità client filato, ottengo la seguente eccezione (ripetuta molte volte nella traccia dello stack). Il proce

18calore

5risposta

Trova numero di porta dove HDFS è in ascolto

voglio accedere HDFS con nomi completi quali: hadoop fs -ls hdfs://machine-name:8020/user potrei anche semplicemente accedere HDFS con hadoop fs -ls /user Tuttavia, vi scrivo casi di test che dovr

5calore

1risposta

Qual è il modo corretto di eseguire un'applicazione Spark su YARN usando Oozie (con Hue)?

Ho scritto un'applicazione in Scala che utilizza Spark. L'applicazione è composta da due moduli: il modulo App che contiene classi con logica diversa e il modulo Env che contiene il codice di iniziali