Al minimo locale (o massimo) x, la derivata della funzione target f scompare: f'(x) = 0 (presupponendo una congruenza sufficiente di)).
La discesa di pendenza tenta di trovare tale minimo x utilizzando le informazioni dalla prima derivata di f: Semplicemente segue la discesa più ripida dal punto corrente. Questo è come far rotolare una palla lungo il grafico di f finché non si ferma (trascurando l'inerzia).
il metodo di Newton cerca di trovare un punto di x soddisfare f'(x) = 0 approssimando f' con una funzione lineare g e poi risolvere per la radice di quella funzione esplicitamente (questo è chiamato metodo di radice-finding di Newton). La radice di g non è necessariamente la radice di f', ma è in molte circostanze una buona ipotesi (il Wikipedia article on Newton's method for root finding ha più informazioni sui criteri di convergenza). Mentre si avvicina a f', il metodo di Newton utilizza f'' (la curvatura di f). Ciò significa che ha requisiti più elevati sulla scorrevolezza di f, ma significa anche che (utilizzando più informazioni) converge spesso più velocemente.
fonte
2012-08-22 05:37:06
La curvatura si riferisce a come il metodo di Newton utilizza la derivata del secondo ordine della fuction. La discesa del gradiente è in genere il primo ordine. – akk
Guarda questa lezione dall'inizio alla fine: https://www.youtube.com/watch?v=sTCtkkqrY8A&index=15&list=PL3940DD956CDF0622 –