Come suddividere i dati (testo non elaborato) in set di test/treno con il modulo di crossvalidation scikit?

Question

Ho un grande corpus di opinioni (2500) in testo non elaborato. Vorrei usare la libreria di scikit-learn per dividerli in set di test/treno. Quale potrebbe essere l'apice migliore per risolvere questo compito con scikit-learn ?. Qualcuno potrebbe fornirmi un esempio di suddivisione del testo grezzo in set di test/treno (probabilmente userò la rappresentazione di tf-idf).

Answer 1

Supponiamo che il vostro dati è una lista di stringhe, cioè

data = ["....", "...", ] 

Poi si può dividere in formazione (80%) e di prova (20%) delle formazioni con train_test_split esempio facendo:

from sklearn.cross_validation import train_test_split 
train, test = train_test_split(data, train_size = 0.8) 

Prima di correre a farlo, però, leggere those docs attraverso. 2500 non è un "corpus grande" e probabilmente vuoi fare qualcosa come una cross-validation k-fold piuttosto che una singola divisione holdout.