L’idea
Si definisce una funzione di perdita che misura quanto il modello sbaglia. Il gradiente indica come varia la perdita al variare di ciascun parametro: i parametri si aggiornano di un piccolo passo nella direzione opposta. L’ampiezza del passo (learning rate) conta molto: se è troppo grande l’addestramento non converge, se è troppo piccola procede lentamente. Nella versione stocastica il gradiente si stima su piccoli gruppi di esempi (mini-batch) invece che sull’intero dataset: è così che si addestrano le reti neurali.
Da dove viene
- Robbins, Monro (1951), «A Stochastic Approximation Method», The Annals of Mathematical Statistics 22. doi:10.1214/aoms/1177729586
- Rumelhart, Hinton, Williams (1986), «Learning representations by back-propagating errors», Nature 323. doi:10.1038/323533a0
- Kingma, Ba (2014), «Adam: A Method for Stochastic Optimization», una variante molto usata. arXiv:1412.6980