Decodifica di entità HTML con Python

Question

Sto tentando di decodificare le voci HTML da qui NYTimes.com e non riesco a capire cosa sto facendo male.

Prendiamo ad esempio:

"U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 

Ho provato BeautifulSoup, decodificare ('iso-8859-1'), e smart_str di django.utils.encoding senza alcun successo.

Answer 1

Prova questo:

import re 

def _callback(matches): 
    id = matches.group(1) 
    try: 
     return unichr(int(id)) 
    except: 
     return id 

def decode_unicode_references(data): 
    return re.sub("&#(\d+)(;|(?=\s))", _callback, data) 

data = "U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 
print decode_unicode_references(data) 

Answer 2

Questo funziona:

from BeautifulSoup import BeautifulStoneSoup 
s = "U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 
decoded = BeautifulStoneSoup(s, convertEntities=BeautifulStoneSoup.HTML_ENTITIES) 

Se si desidera una stringa invece di un oggetto Unicode, è necessario per decodificare ad una codifica che supporti i personaggi usati; ISO-8859-1 non:

result = decoded.encode("UTF-8") 

È spiacevole che sia necessario un modulo esterno per qualcosa di simile; la semplice decodifica dell'entità HTML/XML dovrebbe essere nella libreria standard e non richiedere l'utilizzo di una libreria con nomi di classe privi di significato come "BeautifulStoneSoup". (I nomi delle classi e delle funzioni non devono essere "creativi", dovrebbero essere significativi.)

Answer 3

In realtà ciò che hai non sono entità HTML. Ci sono TRE varietà di quelle & .....; thingies - per esempio       significa U + 00A0 NO-BREAK SPACE.

  (il tipo che hai) è un "riferimento di carattere numerico" (decimale).
  è un "riferimento di carattere numerico" (esadecimale).
  è un'entità.

Ulteriori approfondimenti: http://htmlhelp.com/reference/html40/entities/

Qui troverete il codice per python2.X fa tutti e tre in una sola scansione attraverso l'ingresso: http://effbot.org/zone/re-sub.htm#unescape-html

Answer 4

>>> from HTMLParser import HTMLParser 
>>> print HTMLParser().unescape('U.S. Adviser’s Blunt Memo on Iraq: ' 
...        'Time ‘to Go Home’') 
U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’ 

La funzione è documentato in Python 2. It is fixed in Python 3.4+: è esposto come html.unescape() there.