Dopo aver applicato un test statistico, un investigatore ottiene il "valore p" pari a 0,01. Significa che:
La probabilità di trovare una differenza significativa è dell'1%
La probabilità di dichiarare una differenza significativa, quando in realtà non c’è alcuna differenza, è dell’1%
La differenza non è significativa 1% volte e significativa 99% volte
La potenza del test utilizzato è del 99%
La differenza non è significativa 1% volte e significativa 99% volte [Ref Park, I8/e, p 650-6511 Ripetizione maggio 2005 Confrontando prima due campioni, abbiamo impostato un'ipotesi chiamata Ipotesi nulla. L'ipotesi nulla afferma che non vi è alcuna differenza significativa tra i due campioni, ad es. non c'è differenza tra gli effetti di due diff. droghe. Qualunque differenza vediamo è dovuta solo al caso e non è significativa. Il valore P' indica la probabilità che l'ipotesi nulla sia vera (cioè la probabilità che la differenza tra due campioni si verifichi a causa del caso). cioè il valore "p" di 0,01 (ovvero 1%) significa che c'è l'1% di probabilità che l'ipotesi nulla sia vera e il 99% di probabilità che sia falsa. ciò significa quindi che la probabilità che la differenza tra due campioni (o l'effetto di due farmaci) sia insignificante è solo dell'1%. e c'è il 99% di possibilità che la differenza sia significativa. Per convenzione un'ipotesi nulla viene rifiutata quando p .05 (il che significa che è improbabile che la differenza si sia verificata per caso).