apache-pig

5calore

3risposta

Divisione di una tupla in più tuple nel maiale

Mi piace generare più tuple da una singola tupla. Quello che voglio dire è: Ho un file con i seguenti dati in esso. >> cat data ID | ColumnName1:Value1 | ColumnName2:Value2 quindi caricarlo con il

7calore

6risposta

Installazione PIG sul singolo nodo

ho installato Hadoop (1.0.2) per un singolo nodo su Windows 7 con Cygwin, e si sta lavorando. Tuttavia, non riesco a ottenere PIG (0.10.0) per vedere l'Hadoop. 1) "Error: JAVA_HOME is not set." ho a

7calore

2risposta

Apache Pig: carica un file che mostra bene usando hadoop fs-text

I file sono denominati part-r-000 [0-9] [0-9] e contengono campi separati da tabulazioni. Posso visualizzarli usando hadoop fs -text part-r-00000 ma non riesco a farli caricare usando maiale. Quello c

9calore

2risposta

Rimozione di duplicati usando PigLatin

Sto usando PigLatin per filtrare alcuni record. User1 8 NYC User1 9 NYC User1 7 LA User2 4 NYC User2 3 DC Lo script deve rimuovere il duplicato per gli utenti e conservare uno di questi record.

5calore

2risposta

Caricamento dinamico delle classi dal barattolo

So che è possibile caricare le classi in modo dinamico utilizzando caricatori di classi personalizzati. Ma qui il mio problema è la mia classe è di per sé dipende da altre classi Il mio compito è quel

13calore

2risposta

Definire i dati della tupla nello script porco

Attualmente sto eseguendo il debug di uno script suino. Mi piacerebbe definire una tupla nel file Pig direttamente (invece della funzione di base "Carica"). C'è un modo per farlo? Sto cercando qualcos

6calore

2risposta

Apache Pig: prefisso dello spazio dei nomi strip (: :) dopo l'operazione di gruppo

Un pattern comune nel mio elaborazione dei dati è raggruppare per un gruppo di colonne, applicare un filtro, quindi appiattire nuovamente. Per esempio: my_data_grouped = group my_data by some_column;

7calore

2risposta

Debug in PIG UDF

Sono nuovo di Hadoop/PIG. Ho una domanda di base. Abbiamo una funzione di registrazione in PIG UDF? Ho scritto un UDF che ho bisogno di verificare Ho bisogno di registrare alcune dichiarazioni per con

7calore

3risposta

scoperta significa usare maiale o di Hadoop

Ho un file di testo enorme della forma dati vengono salvati nei dati di directory/data1.txt, data2.txt e così via merchant_id, user_id, amount 1234, 9123, 299.2 1233, 9199, 203.2 1234, 0124, 230 a

14calore

2risposta

Come forzare STORE (sovrascrittura) su HDFS in Pig?

Quando lo sviluppo di script di maiale che utilizzano lo STORE comando devo cancellare la directory di output per ogni corsa o lo script si ferma e offre: 2012-06-19 19:22:49,680 [main] ERROR org.apac