Per sapere se un intervento ha un effetto, cioè è in grado di modificare un outcome in una certa popolazione, lo si deve confrontare con un intervento di controllo.

Si stabilisce un’ipotesi di partenza, detta ipotesi nulla o H0, che è sempre la più conservativa: ad esempio

  • “il farmaco studiato ha un effetto medio pari a quello del farmaco di controllo”.

L’esperimento deve tentare di confutare quest’ipotesi, dimostrando al contrario un’ipotesi alternativa H1 del tipo

  • “il farmaco studiato ha un effetto medio superiore al farmaco di controllo”.

Con la somministrazione dell’intervento studiato, se l’ipotesi di partenza è vera, non si dovrebbe osservare differenza alcuna tra i due gruppi nella misura dell’outcome: stessa proporzione di guariti, di migliorati, o di peggiorati, stesse alterazioni dei parametri misurati, o comunque di qualsiasi effetto valutato.

In realtà, i valori misurati quasi mai coincideranno tra i due gruppi. E’ infatti estremamente improbabile la perfetta uguaglianza di due valori che, anche solo per puro effetto del caso, tenderanno ad essere leggermente differenti tra loro.

Ma sarebbe un errore, detto errore di primo tipo, rifiutare l’ipotesi nulla, quando essa è vera; in altre parole attribuire al trattamento un effetto inesistente, con risultati apparentemente significativi, ma frutto, in realtà, solo del caso.

Come riconoscere gli effetti del caso da quelli veri, dovuti cioè ad una reale efficacia dell’intervento analizzato?

Il buon senso stesso ci suggerisce che piccole differenze saranno più probabilmente frutto del caso, mentre grandi differenze dovranno insospettirci. La statistica dà un peso probabilistico ai nostri aggettivi, verbi ed avverbi, permettendoci di conoscere a priori la distribuzione di probabilità sotto ipotesi nulla; in altre parole, ad ogni differenza osservata, è abbinata una probabilità che tale differenza si verifichi.

Si stabilisce dunque a priori una soglia di probabilità, solitamente il 5 o l’1 per cento, al di sotto della quale si prenderà la decisione di “rifiutare l’ipotesi nulla”. Questa probabilità è detta alfa, o livello di significatività, e rappresenta dunque il rischio, che accettiamo di correre, di cadere nell’errore di primo tipo, di assumere cioè come frutto di un trattamento una differenza che in realtà è frutto solo del caso.

Il complemento ad uno di alfa, 1-alfa, si chiama “livello di protezione dall’errore di primo tipo”.

Dopo l’esperimento (a posteriori) si misura attraverso il “p value” con quale probabilità si possono osservare quei risultati sotto ipotesi nulla, cioè nel caso H0 fosse vera.