Posso passare i parametri alle UDF nello script Pig?

Question

Sono relativamente nuovo per PigScript. Vorrei sapere se esiste un modo per passare i parametri alle UDF Java in Pig?

Ecco lo scenario: Ho un file di registro con colonne diverse (ciascuna rappresenta una chiave primaria in un'altra tabella). Il mio compito è di ottenere il conteggio dei valori distinti della chiave primaria nella colonna selezionata. Ho scritto uno script Pig che fa il lavoro di ottenere le chiavi primarie distinte e contarle. Tuttavia, ora dovrei scrivere una nuova UDF per ogni colonna. C'è un modo migliore per farlo? Come se potessi passare un numero di riga come parametro a UDF, evita la necessità che scriva più UDF.

Answer 1

Sì, si può passare qualsiasi parametro nel parametro tupla ingresso del vostro UDF:

exec(Tuple input) 

e accedervi utilizzando

input.get(index) 

Answer 2

Il modo per farlo è quello di utilizzare DEFINE e il costruttore dell'UDF. Quindi ecco un esempio di uno "splitter" cliente:

REGISTER com.sample.MyUDFs.jar; 
DEFINE CommaSplitter com.sample.MySplitter(','); 

B = FOREACH A GENERATE f1, CommaSplitter(f2); 

Speriamo che trasmetta l'idea.

Answer 3

per passare i parametri di effettuare le seguenti nel vostro pigscript:

UDF(document, '$param1', '$param2', '$param3') 

edit: Non sono sicuro se questi params devono essere wrappedin '' o no

mentre nella vostra UDF voi fare:

public class UDF extends EvalFunc<Boolean> { 



public Boolean exec(Tuple input) throws IOException { 

    if (input == null || input.size() == 0) 
     return false; 

    FileSystem fs = FileSystem.get(UDFContext.getUDFContext().getJobConf()); 


    String var1 = input.get(1).toString(); 
    InputStream var1In = fs.open(new Path(var1)); 


    String var2 = input.get(2).toString(); 
    InputStream var2In = fs.open(new Path(var2)); 

    String var3 = input.get(3).toString(); 
    InputStream var3In = fs.open(new Path(var3)); 



    return doyourthing(input.get(0).toString()); 
} 
} 

per esempio