2016-04-18 15 views
7

Esempio: i miei dati non rientra nella memoria posso fare:(come) puoi allenare un modello due volte (più volte) in sklearn usando fit?

model=my_model 
for i in range(20) 
     model.fit(X_i,Y_i) 

Questo cancellerà il primo 19 in forma. e mantieni solo l'ultimo. Come posso evitare questo? Posso riqualificare un modello salvato e caricato? Grazie

+0

A seconda del tipo di dati con cui stai lavorando, la creazione di una matrice sparsa potrebbe essere una soluzione praticabile: http://docs.scipy.org/doc/scipy/reference/sparse.html Per me questo ha fatto la differenza tra dovermi adattare a un'istanza con "un sacco" di RAM (~ 16 gb +) ed essere in grado di adattarsi al mio portatile con 4 GB di RAM. Dovrai anche pianificare in anticipo e vedere quali modelli supportano input sparsi (non tutti lo fanno) – Ryan

risposta

5

Alcuni modelli hanno un parametro "warm_start", dove sarà inizializzare i parametri del modello con la soluzione precedente da fit()

Si veda ad esempio SGDClassifier