Un test z de comparaison de deux proportions compare la proportion de succès dans deux groupes indépendants — par exemple le taux de conversion de deux maquettes de page ou le taux de guérison sous deux traitements. Il part de quatre nombres : les succès et la taille d’échantillon de chaque groupe.

Le test fournit une statistique z et une valeur p qui indiquent dans quelle mesure les données concordent avec l’hypothèse d’égalité des deux proportions de population.

L’hypothèse nulle affirme que les deux groupes partagent une seule proportion réelle. Sous cette hypothèse, la meilleure estimation de cette valeur commune réunit tous les succès des deux groupes : p̂ = (x₁ + x₂) / (n₁ + n₂). Cette proportion combinée sert à construire l’erreur type, de sorte que le test est évalué comme si les deux groupes provenaient de la même population.

Pour un intervalle de confiance de la différence, on emploie une erreur type propre, non combinée, car on n’y suppose pas les proportions égales.

La valeur p est la probabilité d’observer une différence entre les proportions échantillonnales au moins aussi extrême que celle constatée, dans la direction de l’hypothèse alternative, si les deux proportions de population étaient réellement égales. Ce n’est pas la probabilité que l’hypothèse nulle soit vraie.

Comparez-la à un seuil de signification α fixé à l’avance (souvent 0,05) : si p est inférieur à α, le résultat est dit statistiquement significatif ; sinon, les données ne fournissent pas de preuve suffisante pour conclure à une différence.

Un test bilatéral demande si les deux proportions diffèrent dans un sens ou dans l’autre, tandis qu’un test unilatéral demande seulement si la première est plus grande (droite) ou plus petite (gauche). Le test bilatéral est le choix conventionnel par défaut.

Ne choisissez un test unilatéral que si une hypothèse directionnelle a été énoncée avant de recueillir les données. La valeur p unilatérale vaut la moitié de la bilatérale, mais passer à l’unilatéral après avoir vu les données gonfle le taux de faux positifs et est déconseillé.