yarn

39calore

2risposta

Possiedo un'applicazione Spark in esecuzione in cui occupa tutti i core in cui alle altre applicazioni non verrà assegnata alcuna risorsa. Ho fatto alcune ricerche veloci e le persone hanno suggerito

15calore

4risposta

Risorse spark non allocate completamente su Amazon EMR

Sto cercando di ottimizzare l'utilizzo del cluster per un'attività semplice. Cluster è 1 + 2 x m3.xlarge, runnning Spark 1.3.1, Hadoop 2.4, Amazon AMI 3,7 Il compito legge tutte le righe di un file di

5calore

2risposta

concomitante lavoro Esecuzione in Spark

Ho usato i dati di ingresso con il formato seguente: 0 1 2 3 4 5 … 14 Input Location: hdfs://localhost:9000/Input/datasource Ho usato il seguente frammento di codice per salvare RDD come fi

16calore

1risposta

Apache Hadoop Filati - sottoutilizzo delle anime

Non importa quanto io armeggiare con le impostazioni in yarn-site.xml vale a dire utilizzando tutte le opzioni di seguito yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb

5calore

1risposta

Nodi SENZA SALUTE YARN

Nel nostro cluster YARN che è pieno all'80%, stiamo vedendo alcuni dei nodemanager del filato contrassegnati come NON SANO. dopo aver scavato nei registri ho trovato il suo perché lo spazio su disco è

11calore

1risposta

Differenza tra Application Manager e Application Master in YARN?

Ho capito come funziona MRv1. Ora sto cercando di capire MRv2 .. qual è la differenza tra Application Manager e Application Master in YARN?

7calore

2risposta

Come estrarre ID applicazione dal contesto PySpark

Un previous question raccomanda sc.applicationId, ma è non presente in PySpark, solo in scala. Quindi, come faccio a capire l'ID dell'applicazione (per yarn) del mio processo PySpark?

7calore

2risposta

Uscite multiple Hadoop con esecuzione speculativa

Ho un compito che scrive l'output avro in più directory organizzate da pochi campi dei record di input. For example : Process records of countries across years and write in a directory structure o

9calore

3risposta

L'avvio della modalità YARN Apache Spark richiede troppo tempo (10+ secondi)

Sto eseguendo un'applicazione spark con la modalità cluster YARN-client o YARN. Ma sembra che ci voglia troppo tempo per l'avvio. Sono necessari più di 10 secondi per inizializzare il contesto scintil

5calore

1risposta

Come configurare il riavvio automatico del driver applicazione su Filati

Dalla Guida Spark programmazione Per recuperare automaticamente da un errore del driver, l'infrastruttura di distribuzione che viene utilizzato per eseguire l'applicazione di streaming devono monitora