google-cloud-dataproc

8calore

2risposta

Dov'è l'interfaccia utente di Spark su Google Dataproc?

Quale porta devo utilizzare per accedere all'interfaccia utente di Spark su Google Dataproc? Ho provato porta 4040 e 7077, nonché una serie di altre porte ho trovato utilizzando netstat -pln Firewall

apache-spark google-cloud-dataproc 2015-10-18

---

16calore

2risposta

Output da lavoro Dataproc Spark in Google Cloud Logging

C'è un modo per ottenere l'output dai lavori di Dataproc Spark inviati al log di Google Cloud? As explained in the Dataproc docs l'output dal driver di lavoro (il master per un lavoro Spark) è disponi

apache-spark google-cloud-dataproc google-cloud-logging 2015-12-09

---

9calore

1risposta

Connettore BigQuery per pyspark tramite Hadoop Esempio di formato di input

Ho un grande set di dati archiviato in una tabella BigQuery e vorrei caricarlo in un RDD Pypark per l'elaborazione dei dati ETL. ho capito che BigQuery supporta il formato di Hadoop Input/Output https

apache-spark google-bigquery pyspark google-hadoop google-cloud-dataproc 2015-07-14

---

7calore

3risposta

Versione guava durante l'utilizzo della shell di accensione

Sto provando a utilizzare il connettore spark-cassandra tramite spark-shell su dataproc, tuttavia non riesco a connettermi al mio cluster. Sembra che ci sia una mancata corrispondenza della versione p

apache-spark spark-cassandra-connector google-cloud-dataproc 2015-12-10

---

5calore

2risposta

utilizza una libreria esterna nel processo pyspark in un cluster Spark da google-dataproc

Ho un cluster di scintilla che ho creato tramite google dataproc. Desidero poter utilizzare la libreria csv dai databricks (vedere https://github.com/databricks/spark-csv). Così ho provato in questo m

import apache-spark pyspark google-cloud-dataproc 2015-10-27

---

7calore

1risposta

Allocazione memoria errata per Yarn/Spark dopo l'installazione automatica di Dataproc Cluster

Sto tentando di eseguire i processi Spark su un cluster Dataproc, ma Spark non verrà avviato a causa di un errore di configurazione di Yarn. Viene visualizzato il seguente errore durante l'esecuzione

hadoop google-cloud-platform google-cloud-dataproc 2015-11-08

---

6calore

1risposta

Come installare automaticamente le librerie Python sull'avvio del cluster Dataproc?

Come posso installare automaticamente le librerie Python sul mio cluster Dataproc all'avvio del cluster? Ciò mi risparmierebbe il problema di accedere manualmente ai nodi master e/o worker per install

hadoop apache-spark google-cloud-platform google-cloud-dataproc 2015-09-23

---