Stemming testo non strutturato in NLTK

Question

Ho provato lo stemmer regex, ma ottengo centinaia di token non correlati. Sono solo interessato allo stelo "gioca". Ecco il codice con cui sto lavorando:

import nltk 
from nltk.book import * 
f = open('tupac_original.txt', 'rU') 
text = f.read() 
text1 = text.split() 
tup = nltk.Text(text1) 
lowtup = [w.lower() for w in tup if w.isalpha()] 
import sys, re 
tupclean = [w for w in lowtup if not w in nltk.corpus.stopwords.words('english')] 
from nltk import stem 
tupstem = stem.RegexpStemmer('az$|as$|a$') 
[tupstem.stem(i) for i in tupclean] 

Il risultato di quanto sopra è;

['like', 'ed', 'young', 'black', 'like'...] 

sto cercando di ripulire .txt file (tutto in minuscolo, rimuovere parole non significative, ecc), normalizzare multipli ortografia di una parola in un unico e fare una frequenza dist/conteggio. So come fare FreqDist, ma qualche suggerimento su dove sto andando male con lo stemming

Answer 1

Ci sono diversi stemmi ben noti precodificati in NLTK, vedere http://nltk.org/api/nltk.stem.html e qui sotto viene mostrato un esempio.

>>> from nltk import stem 
>>> porter = stem.porter.PorterStemmer() 
>>> lancaster = stem.lancaster.LancasterStemmer() 
>>> snowball = stem.snowball.EnglishStemmer() 
>>> tokens = ['player', 'playa', 'playas', 'pleyaz'] 
>>> [porter(i) for i in tokens] 
>>> [porter.stem(i) for i in tokens] 
['player', 'playa', 'playa', 'pleyaz'] 
>>> [lancaster.stem(i) for i in tokens] 
['play', 'play', 'playa', 'pleyaz'] 
>>> [snowball.stem(i) for i in tokens] 
[u'player', u'playa', u'playa', u'pleyaz'] 

Ma ciò che probabilmente avete bisogno è una sorta di uno stemmer regex,

>>> from nltk import stem 
>>> rxstem = stem.RegexpStemmer('er$|a$|as$|az$') 
>>> [rxstem.stem(i) for i in tokens] 
['play', 'play', 'play', 'pley']