Conta verbi, nomi e altre parti del parlato con NLTK di Python

Question

Ho più testi e vorrei creare profili di essi in base al loro utilizzo di varie parti del discorso, come nomi e verbi. Fondamentalmente, ho bisogno di contare quante volte ogni parte del discorso è usata.

mi hanno taggato il testo, ma non sono sicuro di come andare oltre:

tokens = nltk.word_tokenize(text.lower()) 
text = nltk.Text(tokens) 
tags = nltk.pos_tag(text) 

Come posso risparmiare i conteggi per ogni parte del discorso in una variabile?

Answer 1

Il metodo pos_tag ti restituisce una lista di coppie (Token, tag):

tagged = [('the', 'DT'), ('dog', 'NN'), ('sees', 'VB'), ('the', 'DT'), ('cat', 'NN')] 

Se si sta utilizzando Python 2.7 o successivo, allora si può fare semplicemente con:

>>> from collections import Counter 
>>> counts = Counter(tag for word,tag in tagged) 
>>> counts 
Counter({'DT': 2, 'NN': 2, 'VB': 1}) 

Per normalizzare i conteggi (che danno la proporzione di ciascun) dO:

>>> total = sum(counts.values()) 
>>> dict((word, float(count)/total) for word,count in counts.items()) 
{'DT': 0.4, 'VB': 0.2, 'NN': 0.4} 

si noti che nelle versioni precedenti di Python, dovrai implementare lo stesso Counter:

>>> from collections import defaultdict 
>>> counts = defaultdict(int) 
>>> for word, tag in tagged: 
... counts[tag] += 1 

>>> counts 
defaultdict(<type 'int'>, {'DT': 2, 'VB': 1, 'NN': 2})