apache-pig

7calore

5risposta

Posso generare sacchetti annidati usando istruzioni FOREACH annidate in Pig Latin?

Diciamo che ho un insieme di dati di recensioni di ristoranti: User,City,Restaurant,Rating Jim,New York,Mecurials,3 Jim,New York,Whapme,4.5 Jim,London,Pint Size,2 Lisa,London,Pint Size,4 Lisa,Lon

8calore

2risposta

Posizione di output di avvisi non aggregati suine?

Pig: 0.8.1-cdh3u2 Hadoop: 0.20.2-cdh3u0 Errore di debug degli avvisi FIELD_DISCARDED_TYPE_CONVERSION_FAILED, ma non riesco a stampare singoli avvisi ovunque. La disabilitazione dell'aggregazione tr

5calore

1risposta

Pig query ORDER BY

grunt> dump jn; (k1,k4,10) (k1,k5,15) (k2,k4,9) (k3,k4,16) grunt> jn = group jn by $1; grunt> dump jn; (k4,{(k1,k4,10),(k2,k4,9),(k3,k4,16)}) (k5,{(k1,k5,15)}) Ora, da qui voglio il segu

16calore

3risposta

selezionare il conteggio distinto utilizzando porco latino

Ho bisogno di aiuto con questo script suino. Sto solo ottenendo un singolo record. Sto selezionando 2 colonne e facendo un conteggio (distinto) su un altro mentre uso anche una clausola where like per

6calore

1risposta

PIG: Filter una stringa in base ad una parola

ho un lavoro maiale dove ho bisogno di filtrare i dati trovando una parola in esso, Ecco il frammento di A = LOAD '/home/user/filename' USING PigStorage(','); B = FOREACH A GENERATE $27,$38; C = FIL

5calore

2risposta

L'utilizzo di Pig/Hive per l'elaborazione dei dati invece della mappa java diretta riduce il codice?

(ancor più fondamentale di Difference between Pig and Hive? Why have both?) Ho una pipeline di elaborazione di dati scritti in diversi Java mappa-ridurre compiti oltre Hadoop (il mio codice personaliz

20calore

2risposta

Come fare outer join su due colonne in Pig Latin

faccio outer join su singole colonne in Pig come questo result = JOIN A by id LEFT OUTER, B by id; Come posso far parte su due colonne, una cosa del genere - WHERE A.id=B.id AND A.name=B.name Qual

11calore

1risposta

Join vs COGROUP in PIG

Ci sono dei vantaggi (wrt performance/no of map reduce) quando uso COGROUP invece di JOIN nel maiale? http://developer.yahoo.com/hadoop/tutorial/module6.html parla della differenza nel tipo di output

6calore

2risposta

Posso dividere un comando su più righe in Apache Pig Latin?

Ho delle linee molto lunghe come espressioni di Apache Pig (latino). C'è un modo per dividerli su più linee? Ho provato una barra rovesciata finale senza alcun risultato, non appena premo immettere il

5calore

1risposta

Utilizzo della cache distribuita con Pig su mappa elastica Ridurre

Sto tentando di eseguire il mio script Pig (che utilizza le UDF) su Amazon's Elastic Map Reduce. Ho bisogno di usare alcuni file statici all'interno delle mie UDF. faccio qualcosa come questo nel mio