L’idea
L’assegnazione casuale rende i gruppi confrontabili in media: così la differenza nei risultati si può attribuire alla versione e non ad altri fattori. È il modo più diretto per stimare un effetto causale (vedi correlazione e causalità) e per misurare l’incrementalità. I punti critici: decidere prima metrica principale e durata; calcolare in anticipo la dimensione del campione; non fermare il test appena il p-value scende sotto la soglia, perché aumentano i falsi positivi; tenere conto dei confronti multipli quando si guardano molte metriche e segmenti.
Da dove viene
- Kohavi, Tang, Xu, Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing, Cambridge University Press, 2020. doi:10.1017/9781108653985