Scrittura e lettura di array di byte grezzi in Spark - utilizzando Sequence File SequenceFile

Question

Come si scrive RDD[Array[Byte]] in un file utilizzando Apache Spark e lo si legge di nuovo?

Answer 1

I problemi comuni sembrano essere uno strano non può generare eccezioni da BytesWritable a NullWritable. Altro problema comune è BytesWritable getBytes è una pila di assurdità senza senso che non ottiene affatto byte. Quello che fa getBytes è ottenere i byte che aggiunge una tonnellata di zeri alla fine! Devi usare copyBytes

val rdd: RDD[Array[Byte]] = ??? 

// To write 
rdd.map(bytesArray => (NullWritable.get(), new BytesWritable(bytesArray))) 
    .saveAsSequenceFile("/output/path", codecOpt) 

// To read 
val rdd: RDD[Array[Byte]] = sc.sequenceFile[NullWritable, BytesWritable]("/input/path") 
    .map(_._2.copyBytes())