Espressione regolare in Python per Beautiful Soup

Question

Sto utilizzando Beautiful Soup per estrarre tag div specifici e sembra che non sia possibile utilizzare la corrispondenza di stringa semplice .

La pagina ha alcuni tag sotto forma di

<div class="comment form new"...> 

cui voglio ignorare, e anche alcuni tag sotto forma di

<div class="comment comment-xxxx..."> 

dove le x rappresentano un numero intero di lunghezza arbitraria e le ellissi rappresentano un numero arbitrario di altri valori separati da spazi bianchi (di cui non sono interessato). Non riesco a capire l'espressione regolare di espressioni regolari , specialmente dal momento che non ho mai usato la re classe python.

Utilizzando

soup.find_all(class_="comment") 

trova tutti i tag che iniziano con la parola commento. Ho provato con

soup.find_all(class_=re.compile(r'(comment)()(comment)')) 
soup.find_all(class_=re.compile(r'comment comment.*')) 

e un sacco di altre varianti, ma penso che mi manca qualcosa di ovvio qui su come espressioni o partita regex di lavoro(). Qualcuno mi può aiutare?

Answer 1

Credo di aver capito:

>>> [div['class'] for div in soup.find_all('div')] 
[['comment', 'form', 'new'], ['comment', 'comment-xxxx...']] 

Si noti che, a differenza l'equivalente in BS3, non è questo:

['comment form new', 'comment comment-xxxx...'] 

E questo è il motivo per cui le vostre espressioni regolari non corrisponderanno.

Ma si può abbinare, per esempio, questo:

>>> soup.find_all('div', class_=re.compile('comment-')) 
[<div class="comment comment-xxxx..."></div>] 

Nota che BS fa l'equivalente di re.search, non re.match, quindi non è necessario 'comment-.*'. Ovviamente, se vuoi corrispondere a 'comment-12345' ma non a 'comment-of-another-kind, ad esempio, 'comment-\d+'.