최종 업데이트: 2026-06-22

A/B 검정의 유의성

프롬프트를 바꾸거나 모델을 교체하거나 디코딩 설정을 조정하면, 새 버전은 대개 일부 예시에서는 이기고 다른 예시에서는 진다. 문제는 측정된 차이가 진정한 개선을 반영하는지, 아니면 마침 검정에 쓴 예시들이 운 좋게 골라진 결과일 뿐인지에 있다. 이 계산기는 두 승률에 이표본 비율 z-검정을 적용하여 승률, 검정 통계량, p-값, 그리고 신뢰할 만한 비교에 필요한 시행 수를 보고한다.

두 승률의 비교

각 변형은 승률로 요약된다. 승리 수를 시행 수로 나눈 값이며, 여기서 "승리"란 성공으로 간주되는 모든 것을 가리킨다. 통과한 검정, 일대일 판정에서 선호된 응답, 정답 등이 그 예다. 유한한 표본에서 측정된 두 비율은 변형이 동일하더라도 정확히 같은 경우가 거의 없으므로, 검정은 각 추정값의 잡음 대비 두 비율이 얼마나 떨어져 있는지를 묻는다.

공식

검정은 두 표본을 통합하여 공통 비율을 추정하고, 이를 사용해 차이의 표준오차를 계산한 뒤 나눈다.

여기서 $p_a$와 $p_b$는 승률, $\bar{p}$는 통합 비율, $z$는 두 비율이 표준오차로 몇 배만큼 떨어져 있는지, $\Phi$는 표준정규 누적분포, $P$는 양측 p-값이다. $z$의 크기가 약 1.96을 넘으면 5% 유의수준 기준에 도달한다.

계산 예시

프롬프트 A가 판정된 1,000개 작업 중 540개를 이기고, 프롬프트 B가 1,000개 중 590개를 이긴 경우를 가정한다.

5포인트의 격차는 1.96 기준을 넘으며 p-값은 약 0.024로 0.05 미만이므로, 차이는 통계적으로 유의하다. 우연은 그럴듯한 설명이 되지 못한다. 설계 수치를 보면 이 정도 크기의 격차를 안정적으로 탐지하려면(95% 신뢰수준, 80% 검정력) 변형당 약 1,538회의 시행이 필요하므로, 여기서의 1,000회 시행은 결과를 기준선을 편안히 넘는 수준이 아니라 간신히 넘는 수준에 둔다.

결과를 신중하게 읽기

유의성은 중요성이 아니다. 시행이 충분히 많으면 미미하고 무의미한 격차도 유의할 수 있고, 시행이 너무 적으면 의미 있는 격차도 유의성을 놓칠 수 있다. 또한 이 검정은 독립적인 시행과 단일 비교를 가정한다. 여러 변형을 동시에 평가하거나 데이터가 쌓이는 동안 결과를 반복해서 확인하는 것은 모두 거짓 양성을 부풀리며 보정을 요구한다. 평가를 실행하기 전에 규모를 정하려면 LLM 평가 표본 크기 계산기을 참고하고, 표본 추출 후 확인하는 코드 지표는 pass@k 계산기을 참고하라.