bigdata

6calore

1risposta

Problema di implementazione della struttura ad albero delle decisioni in apache spark con java

Sto cercando di implementare una semplice demo per il classificatore ad albero delle decisioni usando la versione 1.0.0 di java e apache spark. Sono basato su http://spark.apache.org/docs/1.0.0/mllib-

6calore

4risposta

Come rinominare una quantità enorme di file in Hadoop/Spark?

Ho una cartella di input che contiene +100.000 file. Vorrei eseguire un'operazione batch, ad esempio rinominarli tutti in un determinato modo o spostarli in un nuovo percorso in base alle informazioni

5calore

1risposta

NullPointerException in spark-sql

Sto scrivendo un programma per unire due file su un parametro comune usando spark-sql. Penso che il mio codice sia a posto, ma quando cerco di salvarlo come file di testo, ricevo degli errori. Sto met

16calore

1risposta

Esportare una grande quantità di dati da Cassandra a CSV

Sto usando Cassandra 2.0.9 per memorizzare grandi quantità di dati, diciamo 100Gb, in una famiglia di colonne. Vorrei esportare questi dati in formato CSV in modo rapido. Ho provato: sstable2json - pr

5calore

1risposta

Qual è la differenza tra Apache Ambari Server e Agent

Qual è la differenza tra Apache Ambari Server e Agent? Qual è il ruolo \ attività del server o dell'agente?

5calore

1risposta

Spark 1.0.2 (anche 1.1.0) si blocca su una partizione

Ho uno strano problema nella scintilla di apache e gradirei un po 'di aiuto. Dopo aver letto i dati da hdfs (e facendo una conversione da json a object) la fase successiva (elaborazione di detti ogget

5calore

1risposta

alveare tabella partizionata esterno

Prima i creata tabella esterna alveare partizionata per codice e quella CREATE EXTERNAL TABLE IF NOT EXISTS XYZ ( ID STRING, SAL BIGINT, NAME STRING, ) PARTITIONED BY (CODE INT,DATE STRING) ROW

11calore

2risposta

Come funziona la funzione mapPartitions di pyspark?

Quindi sto cercando di imparare Spark usando Python (Pyspark). Voglio sapere come funziona la funzione mapPartitions. Questo è ciò che Input prende e quale Output dà. Non sono riuscito a trovare alcun

5calore

2risposta

Come installare mahout usando il server ambari

Ho creato un cluster hadoop usando 3 slave e 1 master usando il server ambari (hortonworks). Devo installare mahout 0.9 nella macchina master per eseguire i lavori di mahout nel cluster. Come lo facci

9calore

2risposta

Trasferimento di file da nodo remoto a HDFS con Flume

Ho un sacco di file binari compressi in formato * gz. Questi sono generati su un nodo remoto e devono essere trasferiti su HDFS che si trova su uno dei server del datacenter. Sto esplorando l'opzione