Una prueba z para dos proporciones compara la proporción de éxitos en dos grupos independientes, por ejemplo la tasa de conversión de dos diseños de página o la tasa de recuperación con dos tratamientos. Parte de cuatro cifras: los éxitos y el tamaño de muestra de cada grupo. La prueba produce un estadístico z y un valor p que indican cuánto concuerdan los datos con el supuesto de que ambas proporciones poblacionales son iguales.

La hipótesis nula afirma que ambos grupos comparten una única proporción verdadera. Bajo ese supuesto, la mejor estimación de ese valor común reúne todos los éxitos de ambos grupos: p̂ = (x₁ + x₂) / (n₁ + n₂). Esta proporción combinada construye el error estándar, de modo que la prueba se evalúa como si ambos grupos provinieran de la misma población.

Al construir un intervalo de confianza para la diferencia se usa un error estándar propio, no combinado, porque allí no se supone que las proporciones sean iguales.

El valor p es la probabilidad de observar una diferencia entre las proporciones muestrales al menos tan extrema como la observada, en la dirección de la hipótesis alternativa, si las dos proporciones poblacionales fueran realmente iguales. No es la probabilidad de que la hipótesis nula sea cierta.

Compárelo con un nivel de significación α elegido de antemano (habitualmente 0,05): si p es menor que α, el resultado se considera estadísticamente significativo; si no, los datos no aportan evidencia suficiente para concluir que las proporciones difieren.

Una prueba bilateral pregunta si las dos proporciones difieren en cualquier dirección, mientras que una unilateral pregunta solo si la primera es mayor (derecha) o menor (izquierda). La bilateral es el criterio convencional por defecto.

Elija una prueba unilateral solo cuando se haya planteado una hipótesis direccional antes de recoger los datos. El valor p unilateral es la mitad del bilateral, pero cambiar a unilateral tras ver los datos infla la tasa de falsos positivos y se desaconseja.