Come utilizzare CountVectorizerand() di sklearn per ottenere ngram che includono la punteggiatura come token separati?

Question

Io uso sklearn.feature_extraction.text.CountVectorizer per calcolare n-grammi. Esempio:

import sklearn.feature_extraction.text # FYI http://scikit-learn.org/stable/install.html 
ngram_size = 4 
string = ["I really like python, it's pretty awesome."] 
vect = sklearn.feature_extraction.text.CountVectorizer(ngram_range=(ngram_size,ngram_size)) 
vect.fit(string) 
print('{1}-grams: {0}'.format(vect.get_feature_names(), ngram_size)) 

uscite:

4-grams: [u'like python it pretty', u'python it pretty awesome', u'really like python it'] 

La punteggiatura viene rimosso: come includere loro come separare i token?

Answer 1

È necessario specificare una parola tokenizer che consideri qualsiasi punteggiatura come token separato durante la creazione dell'istanza sklearn.feature_extraction.text.CountVectorizer, utilizzando il parametro tokenizer.

Per esempio, nltk.tokenize.TreebankWordTokenizer tratta la maggior parte caratteri di punteggiatura come separare i token:

import sklearn.feature_extraction.text 
from nltk.tokenize import TreebankWordTokenizer 

ngram_size = 4 
string = ["I really like python, it's pretty awesome."] 
vect = sklearn.feature_extraction.text.CountVectorizer(ngram_range=(ngram_size,ngram_size), \ 
               tokenizer=TreebankWordTokenizer().tokenize) 
print('{1}-grams: {0}'.format(vect.get_feature_names(), ngram_size)) 

uscite:

4-grams: [u"'s pretty awesome .", u", it 's pretty", u'i really like python', 
      u"it 's pretty awesome", u'like python , it', u"python , it 's", 
      u'really like python ,']