Convergenza di discesa dei gradienti Come decidere la convergenza?

Question

Ho imparato la discesa gradiente attraverso le risorse online (ovvero l'apprendimento automatico presso la coursera). Tuttavia, le informazioni fornite dicono solo di ripetere la discesa del gradiente fino a quando converge.

La loro definizione di convergenza era quella di utilizzare un grafico della funzione di costo relativa al numero di iterazioni e osservare quando il grafico si appiattisce. Quindi presumo che avrei fatto il seguente:

if (change_in_costfunction > precisionvalue) { 
      repeat gradient_descent 
} 

In alternativa, mi chiedevo se un altro modo per determinare la convergenza è quello di guardare l'approccio coefficiente è vero valore:

if (change_in_coefficient_j > precisionvalue) { 
      repeat gradient_descent_for_j 
} 
...repeat for all coefficients 

Così è la convergenza basata su la funzione di costo oi coefficienti? E come determiniamo il valore di precisione? Dovrebbe essere un% del coefficiente o della funzione di costo totale?

Answer 1

Si può immaginare come Gradient Descent (GD) lavori pensando di gettare il marmo all'interno di una ciotola e si inizia a scattare foto. Il marmo oscillerà fino a quando l'attrito lo fermerà sul fondo. Ora immaginando di essere in un ambiente che l'attrito è così piccolo che il marmo impiega molto tempo per fermarsi completamente, quindi possiamo supporre che quando le oscillazioni sono abbastanza piccole il marmo abbia raggiunto il fondo (anche se potrebbe continuare ad oscillare). Nell'immagine seguente è possibile vedere i primi otto passaggi (foto del marmo) del GD.

Se continuiamo a scattare foto del marmo non compie movimenti apprezzabili, si dovrebbe ingrandire l'immagine:

Potremmo continuare a prendere le foto ed i movimenti saranno più irrelevants.

Quindi raggiungere un punto in cui GD apporta cambiamenti molto piccoli nella funzione obiettivo è chiamato convergenza, il che non significa che abbia raggiunto il risultato ottimale (ma è davvero abbastanza vicino, se non su di esso).

Il valore di precisione può essere scelto come soglia in cui si iterazioni consecutive di GD sono quasi gli stessi:

grad(i) = 0.0001 
grad(i+1) = 0.000099989 <-- grad has changed less than 0.01% => STOP