Epsilon ottimale valore (ε-greedy)

Question

politica

ε-avido

so che l'algoritmo Q-learning dovrebbe cercare di bilanciare tra esplorazione e sfruttamento. Dato che sono un principiante in questo campo, ho voluto implementare una versione semplice del comportamento di esplorazione/sfruttamento.

valore epsilon ottimale

mia implementazione utilizza il criterio ε-avidi, ma io sono in perdita quando si tratta di decidere il valore Epsilon. L'epsilon dovrebbe essere limitato dal numero di volte in cui l'algoritmo ha visitato una determinata coppia (stato, azione) o dovrebbe essere limitato dal numero di iterazioni eseguite?

I miei suggerimenti:

1. basso è il valore Epsilon per ogni volta che è stato rilevato un dato (stato, l'azione) coppia.
2. Abbassare il valore epsilon dopo aver eseguito un'iterazione completa.
3. Abbassare il valore epsilon per ogni volta che incontriamo uno stato s.

Molto apprezzato!

Answer 1

Sebbene in molti casi semplici l'εk sia mantenuto come un numero fisso nell'intervallo 0 e 1, è necessario sapere che: Di solito, l'esplorazione diminuisce nel tempo, in modo che la politica utilizzata asintoticamente diventi avida e quindi (come Qk → Q *) ottimale. Questo può essere ottenuto facendo si che l'approccio di εk 0 cresca k. Per esempio, un programma di esplorazione ε-di-gese della forma εk = 1/k diminuisce a 0 come k → ∞, mentre soddisfa ancora la seconda condizione di convergenza di Q-learning, cioè, consentendo infinite visite a tutte le azioni di stato coppie (Singh et al., 2000).

Quello che faccio di solito è questo: imposta l'alfa iniziale = 1/k (considera l'iniziale k = 1 o 2) dopo aver fatto il processo per tentativi mentre k aumenta l'alfa diminuirà. mantiene anche la convergenza garantita.

Answer 2

In genere è consigliabile impostare ε su una costante positiva, a meno che non si abbia una buona ragione per non farlo.