Hadoop genera ClassCastException per il tipo di chiave di java.nio.ByteBuffer

Question

Sto utilizzando "hadoop-0.20.203.0rc1.tar.gz" per la configurazione del mio cluster. Ogni volta che ho impostato job.setMapOutputKeyClass(ByteBuffer.class);

ed eseguire il processo ottengo seguente eccezione:

12/01/13 15:09:00 INFO mapred.JobClient: Task Id : attempt_201201131428_0005_m_000001_2, Status : FAILED 
java.lang.ClassCastException: class java.nio.ByteBuffer 
     at java.lang.Class.asSubclass(Class.java:3018) 
     at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:776) 
     at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:958) 
     at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:673) 
     at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:755) 
     at org.apache.hadoop.mapred.MapTask.run(MapTask.java:369) 
     at org.apache.hadoop.mapred.Child$4.run(Child.java:259) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at javax.security.auth.Subject.doAs(Subject.java:396) 
     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059) 
     at org.apache.hadoop.mapred.Child.main(Child.java:253) 

Inoltre ho notato che ByteBuffer è paragonabile e non scrivibile che fare qualsiasi diffrence? Fammi sapere se sono necessarie ulteriori informazioni.

Answer 1

Qui è dove viene generata l'eccezione. Ecco lo code di SVN.

public RawComparator getOutputKeyComparator() { 
    Class<? extends RawComparator> theClass = getClass("mapred.output.key.comparator.class", 
     null, RawComparator.class); 
    if (theClass != null) 
     return ReflectionUtils.newInstance(theClass, this); 
    return WritableComparator.get(getMapOutputKeyClass().asSubclass(WritableComparable.class)); 
} 

Se mapred.output.key.comparator.class proprietà non è definito sulla JobConf quindi il tasto deve implementare l'interfaccia WritableComparable. La classe ByteBuffer non implementa l'interfaccia WritableComparable, quindi l'eccezione.

BTW, WritableComparable L'interfaccia è sotto-interfaccia di classi scrivibili e comparabili.