Come leggere il file sequenziale di hadoop?

Question

Ho un file sequenziale che è l'output del lavoro di riduzione della mappa di hadoop. In questo file i dati sono scritti in coppie di valori chiave e il valore stesso è una mappa. Voglio leggere il valore come oggetto MAP in modo che possa elaborarlo ulteriormente.

Configuration config = new Configuration(); 
    Path path = new Path("D:\\OSP\\sample_data\\data\\part-00000"); 
    SequenceFile.Reader reader = new SequenceFile.Reader(FileSystem.get(config), path, config); 
    WritableComparable key = (WritableComparable) reader.getKeyClass().newInstance(); 
    Writable value = (Writable) reader.getValueClass().newInstance(); 
    long position = reader.getPosition(); 

    while(reader.next(key,value)) 
    { 
      System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
    } 

output del programma: Key è: [questo è la chiave] valore è: {abc = 839.177, xyz = 548.498, LMN = 2, PQR = 1} valore

Qui sto ottenendo come stringa , ma lo voglio come oggetto di mappa.

Answer 1

Controllare la documentazione API per SequenceFile#next(Writable, Writable)

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
} 

dovrebbe essere sostituito con

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+key +" value is: "+value+"\n"); 
} 

Usa SequenceFile.Reader#getValueClassName per ottenere il tipo di valore nel SequenceFile. SequenceFile ha i tipi chiave/valore nell'intestazione del file.