apache-pig

21calore

7risposta

Ho una conoscenza di base su cosa sono le astrazioni Pig, Hive. Ma non ho un'idea chiara sugli scenari che richiedono una riduzione di Hive, Pig o di mappe native. Ho esaminato alcuni articoli che in

6calore

3risposta

È possibile gestire l'errore NO FILE in Pig?

Sto cercando di caricare file semplice: log = load 'file_1.gz' using TextLoader AS (line:chararray); dump log E ottengo un errore: 2014-04-08 11:46:19,471 [main] ERROR org.apache.pig.tools.pigstats

12calore

5risposta

Come eseguire un DISTINCT in Pig Latin su un sottoinsieme di colonne?

Vorrei eseguire un'operazione DISTINCT su un sottoinsieme delle colonne. Il documentation dice che questo è possibile con un foreach nidificato: Non è possibile utilizzare DISTINCT su un sottoinsieme

6calore

1risposta

Hadoop Numero conteggio dei maiali

Sto imparando come usare Hadoop Pig ora. Se ho un file di input come questo: a,b,c,true s,c,v,false a,s,b,true ... L'ultimo campo è quello che ho bisogno di contare ... Quindi voglio sapere quant

8calore

1risposta

Come rimuovere le colonne duplicate dopo un JOIN in Pig?

Diciamo che JOIN due relazioni come: -- part looks like: -- 1,5.3 -- 2,4.9 -- 3,4.9 -- original looks like: -- 1,Anju,3.6,IT,A,1.6,0.3 -- 2,Remya,3.3,EEE,B,1.6,0.3 -- 3,akhila,3.3,IT,C,1.3,0.3

7calore

2risposta

Hadoop e Stata

Qualcuno ha alcuna esperienza con Stata e Hadoop? Stata 13 ora ha uno Java Plugin API, quindi penso che dovrebbe essere semplice farli giocare bene. Sono particolarmente interessato a poter analizzare

5calore

2risposta

Pig: caricamento di un file di dati utilizzando un file di schema esterno

Ho un file di dati e un file di schema corrispondente memorizzato in posizioni separate. Vorrei caricare i dati usando lo schema nel file schema. Ho provato a utilizzare A= LOAD '<file path>' USING Pi

7calore

1risposta

qual è la differenza tra un "sacchetto esterno" e un "sacco interno" in pigLatin?

il manuale/documentazione utilizza estensivamente il linguaggio 'inner bag' e 'outer bag' (ad esempio: http://pig.apache.org/docs/r0.11.1/basic.html), eppure non sono stato in grado di individuare chi

8calore

3risposta

Come appiattire un gruppo in una singola tupla nel maiale?

Da questo: (1, {(1,2), (1,3), (1,4)}) (2, {(2,5), (2,6), (2,7)}) ... Come potremmo generare questo? ((1,2),(1,3),(1,4)) ((2,5),(2,6),(2,7)) ... E come possiamo generare questo? (1, 2, 3, 4) (2,

6calore

3risposta

Pig UDF per iso a aaaa-mm-gg hh: mm: ss.000

Iam che cerca di convertire il formato dell'ora ISO in aaaa-mm-gg hh: mm: ss.SSS. Tuttavia non sono in grado di ottenere la conversione. Sono nuovo per maiale e sto cercando di scrivere un udf per ges