modo più veloce per rimuovere parole di arresto in Python

Question

sto cercando di rimuovere le parole non significative da una stringa di testo:

from nltk.corpus import stopwords 
text = 'hello bye the the hi' 
text = ' '.join([word for word in text.split() if word not in (stopwords.words('english'))]) 

sto elaborando 6 mil di tali stringhe per cui la velocità è importante. Profiling il mio codice, la parte più lenta sono le righe sopra, c'è un modo migliore per farlo? Sto pensando di usare qualcosa come regex re.sub ma non so come scrivere il modello per un insieme di parole. Qualcuno può darmi una mano e sono anche felice di sentire altri metodi forse più veloci.

Nota: ho provato a suggerire qualcuno di avvolgere stopwords.words('english') con set() ma ciò non ha fatto alcuna differenza.

Grazie.

Answer 1

Provare a memorizzare nella cache l'oggetto stopword, come mostrato di seguito. Costruire questo ogni volta che si chiama la funzione sembra essere il collo di bottiglia.

from nltk.corpus import stopwords 

    cachedStopWords = stopwords.words("english") 

    def testFuncOld(): 
     text = 'hello bye the the hi' 
     text = ' '.join([word for word in text.split() if word not in stopwords.words("english")]) 

    def testFuncNew(): 
     text = 'hello bye the the hi' 
     text = ' '.join([word for word in text.split() if word not in cachedStopWords]) 

    if __name__ == "__main__": 
     for i in xrange(10000): 
      testFuncOld() 
      testFuncNew() 

ho eseguito questo attraverso il profiler: python -m Cprofile -s test.py cumulativa. Le linee rilevanti sono pubblicate di seguito.

nCalls tempo cumulativo

10000 7,723 words.py:7(testFuncOld)

10000 0,140 words.py:11(testFuncNew)

Così, la memorizzazione nella cache l'istanza stopwords dà un aumento di velocità 70x ~ .

Answer 2

In primo luogo, si creano parole di arresto per ogni stringa. Crealo una volta. Set sarebbe davvero fantastico qui.

forbidden_words = set(stopwords.words('english')) 

Più tardi, sbarazzarsi di [] all'interno join. Usa invece il generatore.

' '.join([x for x in ['a', 'b', 'c']]) 

sostituire a

' '.join(x for x in ['a', 'b', 'c']) 

cosa successiva da affrontare sarebbe quello di rendere .split() valori di rendimento invece di restituire una matrice. Credo che regex sarebbe una buona sostituzione qui. Vedere thist hread perché il s.split() è in realtà veloce.

Infine, eseguire un tale lavoro in parallelo (rimuovendo le parole di arresto in stringhe da 6 m). Questo è un argomento completamente diverso.

Answer 3

Utilizzare un regexp per rimuovere tutte le parole che non corrispondono:

import re 
pattern = re.compile(r'\b(' + r'|'.join(stopwords.words('english')) + r')\b\s*') 
text = pattern.sub('', text) 

Questo sarà probabilmente modo più veloce di loop da soli, soprattutto per le grandi stringhe di input.

Se l'ultima parola nel testo viene eliminata da questo, è possibile che vi sia uno spazio vuoto finale. Propongo di gestirlo separatamente.