Reading UTF-8 con BOM utilizzando il modulo Python CSV provoca caratteri extra indesiderati

Question

Sto cercando di leggere un file CSV con Python con il seguente codice:

with open("example.txt") as f: 
    c = csv.reader(f) 
    for row in c: 
     print row 

mio example.txt ha solo il seguente contenuto:

 
Hello world! 

Per i file ANSI codificati UTF-8 o, questo mi dà i risultati attesi:

> ["Hello world!"] 

Ma se salvare il file come UTF-8 con BOM ottengo questo output:

> ["\xef\xbb\xbfHello world!"] 

Dal momento che non ho alcun controllo su ciò che i file che l'utente utilizzerà come input, vorrei che questo lavorare con BOM anche. Come posso risolvere questo problema? C'è qualcosa che devo fare per assicurarmi che funzioni anche per altre codifiche?

Answer 1

Si potrebbe fare uso del modulo unicodecsv Python come segue:

import unicodecsv 

with open('input.csv', 'rb') as f_input: 
    csv_reader = unicodecsv.reader(f_input, encoding='utf-8-sig') 
    print list(csv_reader) 

Così, per un file di input che contiene quanto segue in UTF-8 con BOM:

c1,c2,c3,c4,c5,c6,c7,c8 
1,2,3,4,5,6,7,8 

Si visualizzerà il seguente :

[[u'c1', u'c2', u'c3', u'c4', u'c5', u'c6', u'c7', u'c8'], [u'1', u'2', u'3', u'4', u'5', u'6', u'7', u'8']]