mapreduce

6calore

2risposta

Come trovare la lunghezza più lunga e più corta di un valore per un campo in mongoDb?

Il tipo di dati del campo è String. Mi piacerebbe trovare la lunghezza del valore più lungo e più breve per un campo in mongoDB. Ho completamente 500000 documenti nella mia collezione.

5calore

1risposta

Differenza tra HDFS e NFS?

Sono novizio su questo.Vuoi sapere le differenze di base tra il file system hadoop distribuito e il file system di rete e quali sono i vantaggi di hdf su nfs?

6calore

3risposta

L'esclusione della dipendenza transitoria Gradle non funziona come previsto. (Come faccio a sbarazzarsi di com.google.guava: guava-jdk5: 13,0)

Ecco un frammento del mio build.gradle: compile 'com.google.api-client:google-api-client:1.19.0' compile 'com.google.apis:google-api-services-oauth2:v2-rev77-1.19.0' compile 'com.google.apis:google-

5calore

5risposta

Impostazione dei jar esterni per il classpath hadoop

Sto provando a impostare i jar esterni su hapath classpath ma senza fortuna fino ad ora. Ho la seguente configurazione $ hadoop version Hadoop 2.0.6-alpha Subversion https://git-wip-us.apache.org/repo

5calore

4risposta

Hive può discendere ricorsivamente in sottodirectory senza partizioni o modificare hive-site.xml?

Ho alcuni registri del server Web che vorrei interrogare con Hive. La struttura di directory, in HDFS, si presenta così: /data/access/web1/2014/09 /data/access/web1/2014/09/access-20140901.log [...

124calore

9risposta

Java8: HashMap <X, Y> per hashmap <X, Z> utilizzando Ruscello/Map-Reduce/Collector

so come "trasformare" un semplice Java List da Y ->Z, vale a dire: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Ora mi piac

7calore

1risposta

Spark non può più eseguire lavori. Gli esecutori non riescono a creare la directory

Abbiamo avuto un piccolo cluster di scintille in esecuzione per un mese ora che sta eseguendo con successo i lavori o mi consente di avviare una scintilla shell nel cluster. Non importa se invio un la

7calore

4risposta

Come ottengo la data dell'ultima modifica da un file di sequenza Hadoop?

Sto usando un mapper che converte BinaryFiles (jpeg) ad una sequenza di file Hadoop (HSF): public void map(Object key, Text value, Context context) throws IOException, InterruptedException { St

6calore

2risposta

Qual è il contesto delle parole chiave nel mondo di programmazione Hadoop?

Che cos'è esattamente questa parola chiave Contesto nel mondo Hadoop MapReduce in termini di nuove API? È ampiamente utilizzato per scrivere coppie di output su Maps e Reduce, tuttavia non sono sicuro

9calore

1risposta

Hadoop Map Riduci leggere un file di testo

Sto provando a scrivere un programma MapReduce in grado di leggere un file di input e scrivere l'output in un altro file di testo. Sto pensando di usare la classe BufferedReader per questo. Ma non so