yarn

24calore

5risposta

Come posso accedere a S3/S3n da un'installazione Hadoop 2.6 locale?

Sto cercando di riprodurre un cluster Amazon EMR sul mio computer locale. A tal fine, ho installato il latest stable version of Hadoop as of now - 2.6.0. Ora vorrei accedere a un bucket S3, come facci

8calore

2risposta

Perché errore memoria spazio java heap YARN?

Voglio provare ad impostare la memoria in YARN, quindi proverò a configurare alcuni parametri su yarn-site.xml e mapred-site.xml. Dal modo in cui utilizzo hadoop 2.6.0. Ma ottengo un errore quando ese

8calore

4risposta

Elaborazione distribuita di PySpark su un cluster YARN

Spark è in esecuzione su un cluster CDH5.3 Cloudera, utilizzando YARN come gestore risorse. Sto sviluppando app Spark in Python (PySpark). Posso inoltrare lavori e funzionano con successo, tuttavia no

8calore

3risposta

Problemi di prestazione per la scintilla su YARN

Stiamo provando a far funzionare il nostro cluster di scintilla su filato. Stiamo riscontrando alcuni problemi di prestazioni, in particolare rispetto alla modalità standalone. Abbiamo un cluster di 5

8calore

1risposta

Running spark-submit con --master yarn-cluster: emissione con spark-assembly

Sto eseguendo Spark 1.1.0, HDP 2.1, su un cluster kerberizzato. Posso eseguire spark-submit con successo utilizzando --master yarn-client e i risultati vengono scritti correttamente su HDFS, tuttavia

24calore

5risposta

Come accedere utilizzando log4j al file system locale all'interno di un'applicazione Spark che viene eseguita su YARN?

Sto creando un'applicazione Apache Streaming Streaming e non riesco a collegarlo a un file sul filesystem locale quando lo si esegue su YARN. Come può ottenere questo? Ho impostato log4.properties fil

6calore

1risposta

Come uccidere un lavoro mappato avviato da hive?

Attualmente sto lavorando con CDH 5.1. Inizia normale lavoro Hadoop da YARN ma l'hive funziona ancora con mapred. A volte una grande query si bloccherà per molto tempo e voglio ucciderlo. Posso trovar

7calore

1risposta

È consentito il multithreading su Spark/YARN?

Poiché YARN è responsabile della gestione delle risorse delle applicazioni Hadoop, come core e processi, un'applicazione di YARN è autorizzata a creare nuovi thread? Mi riferisco principalmente alle a

6calore

1risposta

Cos'è la memoria riservata su Yarn

Sono riuscito a lanciare un'applicazione spark su Yarn. Tuttavia l'utilizzo Emory è un po 'strano, come potete vedere qui sotto: http://imgur.com/1k6VvSI Cosa memoria riservata significa? Come posso g

14calore

5risposta

problema Esecuzione Spark lavoro su cluster Yarn

voglio correre la mia scintilla di lavoro nel Hadoop FILATO modalità cluster, e sto usando il seguente comando: spark-submit --master yarn-cluster --driver-memory 1g --executor-memory 1g