L’idea
Ogni unità calcola una somma pesata dei valori che riceve e le applica una funzione non lineare. Impilando molti strati, la rete può rappresentare relazioni complesse tra ingressi e uscite. I pesi non si scrivono a mano: si stimano dai dati con la discesa del gradiente, calcolando le derivate con l’algoritmo di backpropagation. Quando gli strati sono molti si parla di deep learning.
Un esempio
Una rete che riconosce cifre scritte a mano riceve i valori dei pixel di un’immagine e restituisce una probabilità per ciascuna delle dieci cifre.
Da dove viene
- Rumelhart, Hinton, Williams (1986), «Learning representations by back-propagating errors», Nature 323. doi:10.1038/323533a0
- LeCun, Bengio, Hinton (2015), «Deep learning», Nature 521. doi:10.1038/nature14539