Rubino `split ': sequenza di byte non valida in UTF-8 (ArgumentError)

Question

Sto provando a popolare l'oggetto filmato, ma durante l'analisi attraverso il file u.item ottengo questo errore:

`split': invalid byte sequence in UTF-8 (ArgumentError)

File.open("Data/u.item", "r") do |infile| 
      while line = infile.gets 
       line = line.split("|") 
      end 
end 

Il l'errore si verifica solo quando si tenta di dividere le linee con una fantasia punteggiatura internazionale.

Qui c'è un esempio

543|Misérables, Les (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Mis%E9rables%2C%20Les%20%281995%29|0|0|0|0|0|0|0|0|1|0|0|0|1|0|0|0|0|0|0

è un lavoro in giro ??

Answer 1

Ruby è un po 'sensibile ai problemi di codifica dei caratteri. Puoi fare una serie di cose che potrebbero risolvere il tuo problema. Ad esempio:

1. Inserire un commento di codifica nella parte superiore del file di origine.

   # encoding: utf-8 
   

2. Codificare in modo esplicito la linea prima della divisione.

   line = line.encode('UTF-8').split("|") 
   

3. sostituire i caratteri non validi, invece di sollevare un'eccezione di codifica :: InvalidByteSequenceError.

   line.encode('UTF-8', :invalid => :replace).split("|") 
   

dare a questi suggerimenti un colpo, e aggiornare la tua domanda se nessuno di loro lavoro per voi. Spero che sia d'aiuto!

Answer 2

ho dovuto forzare la codifica di ogni riga per iso-8859-1 (che è il set di caratteri europei) ... http://en.wikipedia.org/wiki/ISO/IEC_8859-1

a=[] 
IO.foreach("u.item") {|x| a << x} 
m=[] 
a.each_with_index {|line,i| x=line.force_encoding("iso-8859-1").split("|"); m[i]=x}