L’idea
Un p-value piccolo indica che i dati sono poco compatibili con l’ipotesi nulla, per esempio «nessuna differenza tra i due gruppi». Non è la probabilità che l’ipotesi nulla sia vera, né la probabilità che il risultato sia dovuto al caso, e non misura quanto è grande un effetto: per questo serve un intervallo di confidenza. La soglia 0,05 è una convenzione. Nel 2016 l’American Statistical Association ha pubblicato una dichiarazione in sei principi, tra cui quello secondo cui le conclusioni scientifiche e le decisioni non dovrebbero basarsi solo sul superamento di una soglia. Con molti test il rischio di falsi positivi cresce: vedi confronti multipli.
Un esempio
Un test A/B con p = 0,03 non dice che la variante B ha il 97% di probabilità di essere migliore.
Da dove viene
- Wasserstein, Lazar (2016), «The ASA Statement on p-Values: Context, Process, and Purpose», The American Statistician 70. doi:10.1080/00031305.2016.1154108