Um teste z para duas proporções compara a taxa de sucesso em dois grupos independentes — por exemplo, a taxa de conversão de dois layouts de página ou a taxa de recuperação com dois tratamentos. Parte de quatro números: sucessos e tamanho de amostra em cada grupo. O teste produz uma estatística z e um valor p que indicam o quanto os dados são compatíveis com a suposição de que as duas proporções populacionais são iguais.

A hipótese nula afirma que ambos os grupos compartilham uma única proporção verdadeira. Sob essa suposição, a melhor estimativa desse valor comum reúne todos os sucessos dos dois grupos: p̂ = (x₁ + x₂) / (n₁ + n₂). Essa proporção combinada constrói o erro padrão, de modo que o teste é avaliado como se os dois grupos viessem da mesma população.

Ao construir um intervalo de confiança para a diferença, usa-se um erro padrão próprio, não combinado, pois ali não se supõe que as proporções sejam iguais.

O valor p é a probabilidade de observar uma diferença entre as proporções amostrais pelo menos tão extrema quanto a observada, na direção da hipótese alternativa, se as duas proporções populacionais fossem de fato iguais. Não é a probabilidade de a hipótese nula ser verdadeira.

Compare-o a um nível de significância α escolhido de antemão (geralmente 0,05): se p for menor que α, o resultado é considerado estatisticamente significativo; caso contrário, os dados não fornecem evidência suficiente para concluir que as proporções diferem.

Um teste bilateral pergunta se as duas proporções diferem em qualquer direção, enquanto um unilateral pergunta apenas se a primeira é maior (direita) ou menor (esquerda). O bilateral é o padrão convencional.

Escolha um teste unilateral apenas quando uma hipótese direcional foi definida antes de coletar os dados. O valor p unilateral é a metade do bilateral, mas mudar para unilateral após ver os dados aumenta a taxa de falsos positivos e é desaconselhado.