L’idea
Con una soglia di 0,05 per il p-value, eseguendo 20 test indipendenti in cui l’ipotesi nulla è sempre vera, la probabilità di ottenere almeno un falso positivo è circa del 64% (1 − 0,95²⁰). Esistono due famiglie di correzioni. La correzione di Bonferroni controlla la probabilità di commettere anche un solo errore, dividendo la soglia per il numero di test. Benjamini e Hochberg (1995) propongono invece di controllare il false discovery rate, la proporzione attesa di falsi positivi tra i risultati dichiarati significativi: un criterio meno severo, adatto quando i test sono molti.
Un esempio
Un test A/B analizzato su dieci metriche e cinque segmenti di pubblico produce cinquanta confronti: trovare «un segmento in cui B vince» è prevedibile anche se la variante non ha alcun effetto.
Da dove viene
- Benjamini, Hochberg (1995), «Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing», Journal of the Royal Statistical Society B 57. doi:10.1111/j.2517-6161.1995.tb02031.x