L’idea
Un modello troppo flessibile rispetto alla quantità di dati disponibili può «memorizzare» gli esempi invece di coglierne la struttura: l’errore sui dati di addestramento è basso, quello su dati mai visti è alto. Il problema opposto, un modello troppo rigido per cogliere la struttura, è l’underfitting. Per accorgersene si valuta il modello su dati tenuti da parte o con la validazione incrociata; valutazioni troppo ottimistiche possono dipendere anche dal data leakage. Rimedi comuni: più dati, modelli più semplici, regolarizzazione.
Un esempio
Un polinomio di grado molto alto può passare esattamente per tutti i punti di un piccolo campione, ma fra un punto e l’altro oscilla e prevede male i valori nuovi; una retta sbaglia di più sui dati noti e meno su quelli nuovi.
Da dove viene
- James, Witten, Hastie, Tibshirani, An Introduction to Statistical Learning, Springer, 2ª ed. 2021 (statlearning.com).
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, Springer, 2ª ed. 2009.