L’idea
Il modello sembra ottimo in fase di valutazione e delude quando viene usato davvero. Le forme tipiche sono tre: una variabile che è una conseguenza del risultato da prevedere; trasformazioni dei dati (per esempio una normalizzazione) calcolate usando anche i dati di test; righe duplicate o quasi duplicate tra addestramento e test. Kaufman, Rosset e Perlich (2012) ne hanno dato una definizione formale. Kapoor e Narayanan (2023) hanno documentato casi di leakage in centinaia di studi scientifici di diverse discipline basati sul machine learning, e li collegano alla crisi di riproducibilità. Una validazione incrociata impostata male è una delle cause più frequenti.
Un esempio
Per prevedere quali clienti disdiranno un abbonamento, un modello che usa la variabile «data di chiusura della pratica di recesso» ottiene risultati eccellenti in valutazione, ma quella variabile esiste solo dopo che il cliente ha già disdetto.
Da dove viene
- Kaufman, Rosset, Perlich (2012), «Leakage in data mining: Formulation, detection, and avoidance», ACM Transactions on Knowledge Discovery from Data 6. doi:10.1145/2382577.2382579
- Kapoor, Narayanan (2023), «Leakage and the reproducibility crisis in machine-learning-based science», Patterns 4. doi:10.1016/j.patter.2023.100804