Il codec 'ascii' non può codificare il carattere in posizione * ord non compreso nell'intervallo (128)

Question

Ci sono alcuni thread su stackoverflow, ma non sono riuscito a trovare una soluzione valida al problema nel suo complesso.

Ho raccolto enormi somme di dati testuali dalla funzione di lettura urllib e memorizzato nello stesso file di pickle.

Ora voglio scrivere questi dati in un file. errori durante la scrittura mi sto simili a -

'ascii' codec can't encode character u'\u2019' in position 16: ordinal not in range(128) 

e un sacco di dati si sta perdendo.

Suppongo che i dati dal urllib lettura è byte di dati

Ho provato

1. text=text.decode('ascii','ignore') 
    2. s=filter(lambda x: x in string.printable, s) 
    3. text=u''+text 
     text=text.decode().encode('utf-8') 

ma ancora im finendo con errori simili. Qualcuno può indicare una soluzione adeguata. E anche i codec dovrebbero funzionare. Non ho problemi se i byte di conflitto non vengono scritti nel file come stringa, quindi la perdita viene accettata.

Answer 1

Y Puoi farlo tramite il modulo smart_str del modulo Django. Basta provare questo:

from django.utils.encoding import smart_str, smart_unicode 

text = u'\u2019' 
print smart_str(text) 

È possibile installare Django avviando una shell dei comandi con privilegi di amministratore ed eseguire questo comando:

pip install Django 

Answer 2

I dati sono unicode dati. Per scrivere che in un file, utilizzare .encode():

text = text.encode('ascii', 'ignore') 

ma che sarebbe rimuovere tutto ciò che non è ASCII. Forse hai voluto codificare su una codifica più adatta, come UTF-8, invece?

Si consiglia di leggere su Python e Unicode:

• The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!) da Joel Spolsky

• Il Python Unicode HOWTO

• Pragmatic Unicode da Ned Batchelder