Che cos'è il calcolo evolutivo ? È un metodo di apprendimento di rinforzo? O un metodo separato di apprendimento automatico? O forse nessuno?Il calcolo evolutivo può essere un metodo di apprendimento di rinforzo?
Si prega di citare i riferimenti utilizzati per rispondere a questa domanda.
Esistono metodi evolutivi che mirano esplicitamente a risolvere il problema dell'apprendimento di rinforzo. Il sottocampo va generalmente sotto il nome di Learning Classifier Systems (LCS) o occasionalmente Genetics-Based Machine Learning (GBML).
A parte questo, non sono sicuro che la tua domanda abbia una risposta ben definita. In sostanza si riduce a "che cos'è l'apprendimento automatico?" Non esiste un canone su cui tutti siamo d'accordo su come rispondere a questa domanda. Per alcuni, la CE potrebbe far parte di quel sottocampo. Per gli altri, non lo è. Ho appena provato una manciata di libri di testo ML dal mio scaffale e circa la metà conteneva materiale sui metodi evolutivi. Ho il sospetto che 15 anni fa quella frazione sarebbe stata più alta, ma le mode cambiano, e l'apprendimento automatico è quasi un sottocampo di statistiche ora. I metodi CE non si adattano molto bene a quella forma.
I calcoli evolutivi, o algoritmi evolutivi, sono algoritmi di ottimizzazione, che, se applicati a una rete neurale (come nella neuro-evoluzione) possono certamente essere classificati come una forma di apprendimento di rinforzo, sebbene funzioni un po 'diversamente dal solito algoritmo di apprendimento del rinforzo.
Generalmente, in algoritmi evolutivi come algoritmi genetici o strategia di evoluzione, è possibile ottimizzare un'intera popolazione di individui. Per ognuno di questi individui, viene utilizzata una funzione di qualità per determinare la loro "forma fisica" (come nella "sopravvivenza del più adatto") e le persone migliori vengono selezionate per la generazione successiva. Questi "genitori" vengono quindi duplicati, modificati, mutati o ricombinati a caso tra loro - come esattamente ciò è fatto è un po 'diverso in ciascuno dei diversi algoritmi. Infine, quei nuovi genitori mutati e/o ricombinati formano la popolazione per la generazione successiva, e il processo ricomincia, fino a quando non viene raggiunta una qualità desiderata, o se la qualità si esaurisce.
Nel caso della neuroevoluzione, gli individui sono reti neurali, che sono mutate da pesi a variazione casuale (mentre nelle reti neurali classiche i pesi vengono aggiornati secondo regole matematiche molto precise) o anche alterando la loro topologia, e la qualità degli individui è determinata dalla loro efficacia con i dati di allenamento.
Spiacente, non ci sono riferimenti scientifici rigidi, ma forse questo ha contribuito a chiarire un po 'le cose.
grazie per la risposta, ma il problema principale è la classificazione degli algoritmi evolutivi in relazione all'apprendimento di rinforzo in un riferimento affidabile –
Non sono d'accordo. RL richiede interazione con l'ambiente attraverso sequenze di stati e azioni. Gli algoritmi evolutivi semplicemente non si adattano a questo stampo. – danelliottster
La differenza principale tra apprendimento di rinforzo [1] e calcolo evolutivo [2] è che RL nel senso originale è applicato a un agente in un ambiente, imparando una politica (vedi anche l'articolo di Wikipedia su reinforcement learning), mentre EC è un termine più generico per una classe di algoritmi di ricerca che utilizzano metodi ispirati "evolutivi" per ottimizzare la ricerca. Non classificherei affatto l'EC come apprendimento automatico e non ho trovato una fonte che lo faccia.
[1] apprendimento per rinforzo: un'introduzione - RS Sutton, AG Barto - 1998 - Cambridge University Press
[2] Che cosa è il calcolo evolutivo? - DB Fogel - Spectrum, IEEE, 2000
buona risposta, ma ho visto una presentazione da un'università in cui si dice che uno dei metodi ML è evolutivo. più vedi qui: http://local.wasp.uwa.edu.au/~derek/files/ncca/talks/ecg/research/html/ec.html Dice "Alcuni autori classificano l'EC come un tipo specifico di ML" , ciò di cui abbiamo bisogno è un riferimento che parli precisamente di questo –
Come parte [1] si dice che RL può essere usato per affrontare problemi di pianificazione che è un uso comune del calcolo evolutivo. – danelliottster
Quindi, dov'è il calcolo evolutivo? È un metodo di apprendimento di rinforzo? O un metodo separato di apprendimento automatico? o forse nessuno?
I view CE e ML sono distinti l'uno dall'altro. Tuttavia, ci sono alcune grandi applicazioni là fuori che vengono utilizzate insieme. Anche se questa è stata una piccola area di ricerca per un po 'di tempo, sento che ci sono alcuni frutti a basso impatto nel campo della combinazione di EC e ML. Penso che molte persone non abbiano la pazienza di vedere quelle idee attraverso.
Aggiornamento dal 2017: la risposta è SI. Il most downloaded paper over the past month in Reinforcement Learning, giustamente chiamato "Strategie di evoluzione come alternativa scalabile all'apprendimento di rinforzo" è davvero il discorso della città.
Questa è la migliore risposta ancora, ma continuerò a cercare ... Grazie per l'ottima risposta! –