Quale fattore di moltiplicazione e aggiunta da utilizzare quando si esegue il tasso di apprendimento adattativo nelle reti neurali?

Question

Sono un neofita delle reti neurali e, per prendere confidenza con la materia, ho implementato un MLP feed-forward di base che attualmente mi sto allenando attraverso la back-propagation. Sono consapevole del fatto che ci sono modi più sofisticati e migliori per farlo, ma nel Introduction to Machine Learning suggeriscono che con uno o due trucchi, la discesa del gradiente di base può essere efficace per l'apprendimento dai dati del mondo reale. Uno dei trucchi è tasso di apprendimento adattativo.

L'idea è di aumentare il tasso di apprendimento di un valore costante un quando l'errore diventa più piccolo, e diminuirlo di una frazione b del tasso di apprendimento quando l'errore diventa più grande. Quindi, in pratica il cambiamento tasso di apprendimento è determinata da:

+(a) 

se stiamo imparando nella giusta direzione, e

-(b * <learning rate>) 

se stiamo rovinando il nostro apprendimento. Tuttavia, nel libro sopra non ci sono consigli su come impostare questi parametri. Non mi aspetterei un suggerimento preciso dal momento che la sintonizzazione dei parametri è un argomento a parte, ma solo un suggerimento almeno sul loro ordine di grandezza. Qualche idea?

Grazie,
Tunnuz

Answer 1

non ho guardato a reti neurali per il tempo più lungo (10 anni +), ma dopo aver visto la tua domanda ho pensato di avere un rapido esploratore circa. Continuavo a vedere gli stessi dati tutti su Internet in relazione ad aumentare (un) e decremento (b) Fattore (1,2 & 0,5 rispettivamente).

sono riuscito a rintracciare questi valori verso il basso per Martin Riedmiller e Heinrich Braun di RPROP algorithm (1992). Riedmiller e Braun sono abbastanza specifici su parametri sensibili da scegliere.

Vedi: RPROP: A Fast Adaptive Learning Algorithm

Spero che questo aiuta.