Come convertire i caratteri codificati \ xXY in UTF-8 in Python?

Question

Ho un testo che contiene caratteri come "\ xaf", "\ xbe", che, come ho capito da this question, sono caratteri codificati ASCII.

Voglio convertirli in Python ai loro equivalenti UTF-8. Il solito string.encode("utf-8") genera UnicodeDecodeError. C'è un modo migliore, ad esempio, con la libreria standard codecs?

Esempio 200 characters here.

Answer 1

Il file è già un file con codifica UTF-8.

# saved encoding-sample to /tmp/encoding-sample 
import codecs 
fp= codecs.open("/tmp/encoding-sample", "r", "utf8") 
data= fp.read() 

import unicodedata as ud 

chars= sorted(set(data)) 
for char in chars: 
    try: 
     charname= ud.name(char) 
    except ValueError: 
     charname= "<unknown>" 
    sys.stdout.write("char U%04x %s\n" % (ord(char), charname)) 

E manualmente compilando i nomi sconosciuti:
char U000a LINE FEED
char INFORMAZIONI U001e SEPARATORE DUE
char INFORMAZIONI U001f separatore di un

Answer 2

Non è ASCII (i codici ASCII vanno solo fino a 127; \xaf è 175). Per prima cosa è necessario trovare la codifica corretta, decodificarla e quindi ricodificarla in UTF-8.

Potrebbe fornire un campione di stringa effettivo? Quindi possiamo probabilmente indovinare la codifica corrente.

Answer 3

.encode è per convertire una stringa Unicode (unicode in 2.x, str in 3.x) per una una stringa di byte (str in 2.x, bytes in 3.x).

In 2.x, è legale chiamare .encode su un oggetto str. Python decodifica implicitamente la stringa in Unicode: s.encode(e) funziona come se fosse stato scritto s.decode(sys.getdefaultencoding()).encode(e).

Il problema è che la codifica predefinita è "ascii" e la stringa contiene caratteri non ASCII. Puoi risolvere questo problema specificando esplicitamente la codifica corretta.

>>> '\xAF \xBE'.decode('ISO-8859-1').encode('UTF-8') 
'\xc2\xaf \xc2\xbe'