Manipolazione del neurone PyBrain

Question

C'è un buon modo per aggiungere/rimuovere un neurone e le sue connessioni associate in/da una rete PyBrain completamente connessa? Dire che iniziare con:

from pybrain.tools.shortcuts import buildNetwork 
net = buildNetwork(2,3,1) 

Come potrei fare per fare un (2,4,1) o un (2,2,1) della rete, pur mantenendo tutti i vecchi pesi (e l'inizializzazione eventuali nuovi per essere casuali come si fa quando si inizializza la rete)? La ragione per cui voglio farlo è perché sto tentando di utilizzare una strategia di apprendimento evolutivo per determinare la migliore architettura e il passaggio "mutazionale" comporta l'aggiunta/rimozione di nodi con una certa probabilità. (I moduli di ingresso e di uscita dovrebbero rimanere sempre gli stessi.)

modifica: Ho trovato NeuronDecomposableNetwork che dovrebbe semplificare questo processo, ma sembra comunque che debba tenere traccia dei neuroni e delle connessioni separatamente.

Answer 1

Suppongo che stiate facendo l'algoritmo NEAT? Ci sono due risposte diverse alla tua domanda:

1. Open Ended evoluzione della topologia di rete: in questo caso, vi consiglio di incapsulare ogni neurone nel suo "layer"/modulo, e aggiungere/rimuovere loro e le loro connessioni alla rete in modo iterativo, un po 'come in this tutorial, tranne per il fatto che ci saranno molti altri livelli (single-neuron). Non dimenticare di chiamare il metodo sortModules() dopo ogni modifica topologica.

2. Trovare la migliore topologia all'interno di un framework predefinito (ad esempio un massimo di 1000 neuroni). In tal caso è più facile e più efficiente costruire la rete completa all'inizio, e solo la maschera alcune delle connessioni (ad esempio utilizzando il modulo MaskedParameters). Tra gli altri, memetic algorithms(used like this) sono progettati per cercare tali spazi di topologia.

Un'alternativa, come dici tu, è la gestione manualmente tutti i pesi (tenendo traccia what is where, o utilizzando NeuronDecomposableNetwork), ma io non lo consiglio questo.

---

un commento generale: per gli usi più avanzati di pybrain come il vostro, basandosi sulla scorciatoia `buildNetwork' è davvero troppo limitato, e si vorrà utilizzare direttamente il/modulo/API connessione di rete.