apache-pig

5calore

2risposta

Pig continua a tentare di connettersi al server della cronologia dei lavori (e non riesce)

Sto eseguendo un processo Pig che non riesce a connettersi al server della cronologia dei lavori Hadoop. Il compito (in genere qualsiasi operazione con GROUP BY) corre per un po 'e poi si inizia con u

5calore

5risposta

PIG: ERROR 1000: Errore durante l'analisi

Ho installato Pig 0.12 nella mia macchina. quando corro darwin$ pig grunt> ls /data/ hdfs://Nmame:10001/data/pg20417.txt<r 3> 674570 hdfs://Nname:10001/data/pg4300.txt<r 3> 1573150 hdfs:/Nname:100

8calore

1risposta

Verificare se un elemento è presente in un sacchetto?

Come posso verificare in piglatin, se un sacchetto contiene un elemento? Esempio: in un sacchetto di chararray, come posso controllare se è presente un token?

5calore

2risposta

Come posso eseguire il debug di uno script su un maiale

Se durante l'esecuzione di un gruppo semplice tramite script in maiale per grandi terabyte di dati, lo script rimane bloccato al 70%, quindi cosa è possibile fare per diagnosticare il problema?

8calore

1risposta

Utilizzo di tabella alveare su parquet in Pig

Sto cercando di creare una tabella Hive con lo schema stringa, stringa, doppio su una cartella contenente due file Parquet. Il primo schema di file parquet è string, string, double e lo schema del sec

5calore

2risposta

Rimuovere il livello di directory durante il trasferimento da HDFS a S3 utilizzando S3DistCp

Ho uno script Pig (utilizzando un MultiStorage leggermente modificato) che trasforma alcuni dati. Una volta che lo script viene eseguito, ho i dati nel seguente formato su HDFS: /tmp/data/identifier1/

5calore

3risposta

Ottenere un errore in esecuzione HCatalog

A = LOAD 'eventnew.txt' USING HCatalogLoader(); 2015-07-08 19: 56: 34.875 [principale] ERRORE org.apache.pig.tools.grunt.Grunt - ERRORE 1070: Impossibile risolvere HCatalogLoader utilizzando le impo

8calore

1risposta

In spark join, l'ordine del tavolo è come nel maiale?

Relativi a Spark - Joining 2 PairRDD elements Quando si effettua un regolare join nel maiale, l'ultima tabella nel join non viene portato in memoria, ma in streaming attraverso, invece, quindi se A ha

7calore

1risposta

ERRORE 1066: impossibile aprire iteratore per Alias in Pig, soluzione generica

molto comune, il messaggio di errore in Apache Pig è: ERROR 1066: Unable to open iterator for alias Ci sono diverse domande in cui è menzionato questo errore, ma nessuno di loro danno un approccio gen

5calore

3risposta

Bandiera -useHCatalog non funziona

ho installato CDH5.4 a singolo nodo seguendo le istruzioni here, anche, ho messo il hive-metastore in localmode utilizzando questi instructions e tutto funziona alla perfezione, tranne quando ho prova