Un test z per due proporzioni confronta la percentuale di successi in due gruppi indipendenti — per esempio il tasso di conversione di due layout di pagina o il tasso di guarigione con due trattamenti. Parte da quattro numeri: successi e dimensione campionaria per ciascun gruppo. Il test produce una statistica z e un valore p che indicano quanto i dati siano coerenti con l’ipotesi che le due proporzioni della popolazione siano uguali.

L’ipotesi nulla afferma che i due gruppi condividano un’unica proporzione reale. Sotto questa ipotesi, la stima migliore di quel valore comune riunisce tutti i successi dei due gruppi: p̂ = (x₁ + x₂) / (n₁ + n₂). Questa proporzione combinata costruisce l’errore standard, così il test viene valutato come se i due gruppi provenissero dalla stessa popolazione.

Per un intervallo di confidenza della differenza si usa un errore standard proprio, non combinato, perché lì non si assume che le proporzioni siano uguali.

Il valore p è la probabilità di osservare una differenza tra le proporzioni campionarie almeno così estrema come quella rilevata, nella direzione dell’ipotesi alternativa, se le due proporzioni della popolazione fossero davvero uguali. Non è la probabilità che l’ipotesi nulla sia vera.

Confrontalo con un livello di significatività α scelto in anticipo (di norma 0,05): se p è inferiore ad α il risultato è statisticamente significativo; altrimenti i dati non forniscono prove sufficienti per concludere che le proporzioni differiscano.

Un test bilaterale chiede se le due proporzioni differiscono in una qualsiasi direzione, mentre uno unilaterale chiede solo se la prima è maggiore (destro) o minore (sinistro). Il test bilaterale è la scelta convenzionale predefinita.

Scegli un test unilaterale solo quando un’ipotesi direzionale è stata formulata prima di raccogliere i dati. Il valore p unilaterale è la metà di quello bilaterale, ma passare all’unilaterale dopo aver visto i dati gonfia il tasso di falsi positivi ed è sconsigliato.