최종 업데이트: 2026-06-22

LLM 평가 표본 크기

모델의 벤치마크 정확도를 측정할 때 보고하는 숫자는 유한한 표본에서 얻은 추정치이며 불확실성을 담고 있습니다. 같은 모델을 다른 쉰 개의 예제로 돌리면 점수는 움직입니다. 이 계산기는 어떤 평가에 앞서 떠오르는 계획 질문에 답합니다. 측정한 정확도가 선택한 신뢰수준에서 명시된 오차 한계 안에 들도록 하려면 몇 개의 예제가 필요한가 하는 물음입니다.

정확도는 비율이다

벤치마크 점수는 모델이 올바르게 답하는 예제의 비율, 즉 하나의 비율입니다. 추정된 비율의 불확실성은 그 표준오차로 기술되며, 신뢰구간은 신뢰수준이 정하는 표준오차의 배수만큼 양쪽으로 늘려서 만듭니다. 그 구간이 목표 오차 한계보다 넓지 않도록 요구하면 필요한 예제 수가 정해집니다.

공식

여기서 $z$는 선택한 신뢰수준에 대한 표준정규 값, $p$는 예상 정확도, $E$는 오차 한계, $n$은 올림한 예제 수입니다. 두 가지 특징이 중요합니다. 오차 한계는 제곱으로 들어가므로 이를 절반으로 줄이면 요구가 네 배가 됩니다. 정밀도는 비싸기 때문입니다. 그리고 정확도는 $p$와 그 여확률의 곱을 통해 들어가는데, 이 곱은 정확히 반반에서 최대가 됩니다. 따라서 동전 던지기에 가까울 것으로 예상되는 모델은 가장 많은 예제가 필요하고, 양극단에 가까운 모델은 더 적게 필요합니다.

계산 예시

약 80%의 정확도를 예상하며 95% 신뢰수준에서 ±5% 이내로 알고 싶다고 가정합니다.

따라서 약 246개의 예제면 충분합니다. 정확도에 대한 사전 정보가 없어 반반의 최악 경우를 사용했다면 요구는 385로 올라갑니다. 오차 한계를 ±2.5%로 좁히면 최악 경우 값이 1,500을 넘게 되는데, 이는 정밀도의 제곱 법칙 비용을 구체적으로 보여 줍니다.

결과 활용

이 값은 예제가 독립적이라고 가정하고 정규근사를 사용하는 기준선이며, 둘 다 평가 규모에서 합리적입니다. 정확도에 대해 신뢰할 만한 추정이 없을 때는 보수적인 50% 값을 중심으로 계획하십시오. 그것이 요구될 수 있는 최대치이기 때문입니다. 이 계산기는 하나의 정확도 추정에 대한 크기를 정합니다. 한 모델이나 프롬프트가 다른 것을 진정으로 능가하는지 판단하는 일은 효과 크기와 통계적 검정력이 필요하고 대개 더 많은 데이터가 드는 두 비율의 비교이며, 그런 경우에는 A/B 검정 유의성 계산기를 참고하십시오. 대신 다중 표본 코드 지표를 다루려면 pass@k 계산기를 참고하십시오.