apache-spark

13calore

2risposta

Confronto tra le query CQL vs Spark/Shark di Cassand vs Hive/Hadoop (versione DSE)

Mi piacerebbe sentire i vostri pensieri ed esperienze sull'utilizzo di CQL e motore di query in memoria Spark/Shark. Da quello che so, il processore CQL è in esecuzione all'interno di Cassandra JVM su

8calore

1risposta

Configurazione Spark: SPARK_MEM vs SPARK_WORKER_MEMORY

In spark-env.sh, è possibile configurare le seguenti variabili d'ambiente: # - SPARK_WORKER_MEMORY, to set how much memory to use (e.g. 1000m, 2g) export SPARK_WORKER_MEMORY=22g [...] # - SPARK_MEM

33calore

1risposta

supporto gzip in Spark

Per un progetto Big Data, sto pianificando di utilizzare spark, che ha alcune caratteristiche interessanti come i calcoli in memoria per carichi di lavoro ripetuti. Può essere eseguito su file locali

22calore

3risposta

Spark modalità Standalone: Come comprimere uscita scintilla scritto HDFS

correlati alla mia altra domanda, ma distinti: someMap.saveAsTextFile("hdfs://HOST:PORT/out") Se salvo l'RDD per HDFS, come posso dire scintilla per comprimere l'output con gzip ? In Hadoop, è possi

41calore

2risposta

Analisi Hadoop veloce (Cloudera Impala vs Spark/Shark vs Apache Drill)

Desidero eseguire un'analisi dei dati "near real-time" (simile a OLAP) sui dati in un HDFS. La mia ricerca ha dimostrato che i tre quadri citati riportano miglioramenti significativi delle prestazioni

8calore

2risposta

scintilla in streaming FILESTREAM

sto programmando con scintilla in streaming, ma hanno qualche problema con Scala. Sto cercando di utilizzare la funzione StreamingContext.fileStream La definizione di questa funzione è simile a questo

10calore

1risposta

Confronto nei sistemi di calcolo cluster in memoria

Sto lavorando su Spark (Berkeley) Cluster Computing System. Durante le mie ricerche, ho appreso alcuni altri sistemi in-memory come Redis, Memcachedb, ecc. Sarebbe bello se qualcuno potesse darmi un c

11calore

2risposta

Il cluster Spark non funziona su input più grandi, funziona bene per i piccoli

Sto giocando con Spark. È la distribuzione predefinita predefinita (0.7.0) dal sito Web, con configurazione predefinita, modalità cluster, un worker (il mio localhost). Ho letto i documenti sull'insta

75calore

8risposta

Come prevenire java.lang.OutOfMemoryError: PermGen space alla compilation Scala?

Ho notato uno strano comportamento del mio compilatore di scala. Di tanto in tanto lancia un OutOfMemoryError durante la compilazione di una classe. Ecco il messaggio di errore: [info] Compiling 1 Sca