Python Come risolvere la codifica utf-8 rotta?

Question

La mia stringa è Niệm Bồ Tát (Thiá»n sÆ° Nhất Hạnh) e voglio decodificarlo per Niệm Bồ Tát (Thiền sư Nhất Hạnh) vedo in quel sito può farlo http://www.enderminh.com/minh/utf8-to-unicode-converter.aspx

e comincio a provare da Python

mystr = '09. Bát Nhã Tâm Kinh' 
mystr.decode('utf-8') 

ma in realtà non è corretto perché la stringa originale è utf-8 ma la stringa show non è il mio risultato in attesa.

Nota: è un personaggio vietnamita.

Come risolvere il caso? È Windows Unicode o qualcosa del genere? Come rilevare la codifica qui. Grazie in anticipo

Answer 1

io non sono sicuro di quello che si può fare con questo tipo di dati, ma per il tuo esempio nel tuo post originale, questo funziona:

>>> mystr = '09. Bát Nhã Tâm Kinh' 
>>> s = mystr.decode('utf8').encode('latin1').decode('utf8') 
>>> s 
u'09. B\xe1t Nh\xe3 T\xe2m Kinh' 
>>> print(s) 
09. Bát Nhã Tâm Kinh 

Answer 2

L'unica cosa che mi ha aiutato con rotta stringa cirillica - https://github.com/LuminosoInsight/python-ftfy

Questo modulo risolve praticamente tutto e funziona molto meglio dei decodificatori online.

>>> from ftfy import fix_encoding 
>>> mystr = '09. Bát Nhã Tâm Kinh' 
>>> fix_encoding(mystr) 
'09. Bát Nhã Tâm Kinh' 

può essere facilmente installato utilizzando pip install ftfy