Calculadora de Tamanho de Amostra para Avaliação de LLM
Entradas
| Acurácia esperada | 80 % |
|---|---|
| Margem de erro | 5 % |
| Nível de confiança | 95% |
Calculadora de Tamanho de Amostra para Avaliação de LLM
Descubra quantos exemplos uma avaliação de modelo precisa para medir a acurácia dentro de uma margem de erro alvo, usando a fórmula padrão de tamanho de amostra para uma proporção.
Entradas
Precisão Alvo
Resultados
Insira um valor para ver os resultados.
Detalhes
Tamanho de amostra para avaliação de LLM
Quando você mede a acurácia de um modelo em um benchmark, o número relatado é uma estimativa a partir de uma amostra finita e carrega incerteza. Rode o mesmo modelo em outros cinquenta exemplos e a pontuação vai mudar. Esta calculadora responde à pergunta de planejamento que vem antes de qualquer avaliação: quantos exemplos são necessários para que a acurácia medida fique dentro de uma margem de erro declarada em um nível de confiança escolhido.
A acurácia é uma proporção
Uma pontuação de benchmark é a fração de exemplos que um modelo responde corretamente — uma proporção. A incerteza de uma proporção estimada é descrita por seu erro padrão, e um intervalo de confiança é construído estendendo um número de erros padrão de cada lado, definido pelo nível de confiança. Exigir que esse intervalo não seja mais largo do que uma margem de erro alvo fixa o número de exemplos necessários.
A fórmula
n=E2z2p(1−p)Aqui é o valor normal padrão para o nível de confiança escolhido, é a acurácia esperada, é a margem de erro e é o número de exemplos, arredondado para cima. Dois aspectos importam. A margem entra ao quadrado, de modo que reduzi-la pela metade quadruplica a exigência — precisão é cara. E a acurácia entra pelo produto de e seu complemento, que atinge o máximo em uma divisão equilibrada, de forma que um modelo que se espera próximo de um cara ou coroa precisa do maior número de exemplos, enquanto um próximo dos extremos precisa de menos.
Exemplo resolvido
Suponha que você espera cerca de 80% de acurácia e quer conhecê-la dentro de ±5% com 95% de confiança:
n=0.0521.962×0.8×0.2=0.00253.8416×0.16≈245.9→246Assim, cerca de 246 exemplos bastam. Se você não tivesse uma estimativa prévia da acurácia e usasse o pior caso em uma divisão equilibrada, a exigência subiria para 385. Apertar a margem para ±2,5% empurraria o valor de pior caso para mais de 1.500 — uma ilustração concreta do custo quadrático da precisão.
Usando o resultado
O valor é uma linha de base que pressupõe exemplos independentes e a aproximação normal, ambas razoáveis na escala de avaliação. Quando você não tem uma estimativa confiável da acurácia, planeje em torno do valor conservador de 50%, já que é o maior que a exigência pode ser. Esta calculadora dimensiona uma única estimativa de acurácia; decidir se um modelo ou prompt realmente supera outro é uma comparação de duas proporções que exige um tamanho de efeito e poder estatístico, e geralmente mais dados — para isso, veja a Calculadora de Significância de Teste A/B. Para raciocinar sobre métricas de código com múltiplas amostras, veja a Calculadora de pass@k.
Perguntas frequentes (FAQ)
Por que o tamanho da amostra tem essa forma?
A acurácia em um benchmark é uma proporção: a fração de exemplos que o modelo acerta. A incerteza de uma proporção estimada segue o erro padrão binomial, que a fórmula inverte. Para reduzir a margem de erro pela metade é preciso quadruplicar o número de exemplos, porque a margem encolhe com a raiz quadrada do tamanho da amostra. Elevar o nível de confiança aumenta o escore z e, portanto, a contagem.
O resultado pressupõe que os exemplos são extraídos de forma independente e usa a aproximação normal, que é precisa para os tamanhos de amostra que as avaliações costumam exigir.
Como a acurácia esperada altera a resposta?
O tamanho necessário depende de p vezes um menos p, que é máximo em 50% e cai em direção aos extremos. Um modelo que se espera pontuar 95% precisa de menos exemplos para fixar do que um que se espera pontuar 50%, porque perto dos extremos há simplesmente menos variância a medir. Se você não tem uma estimativa prévia confiável, use o valor conservador calculado em 50% de acurácia — é o maior que a exigência pode ser, então é sempre seguro.
Isto cobre a comparação entre dois modelos?
Não. Isto dimensiona uma única estimativa de acurácia para uma precisão alvo. Decidir se um modelo ou prompt realmente supera outro é uma comparação de duas proporções, que exige tanto um tamanho de efeito desejado quanto poder estatístico, e geralmente requer mais exemplos do que estimar um único modelo. Para isso, use um teste de duas proporções projetado para taxas de vitória.
Aviso legal
A fórmula pressupõe exemplos independentes e a aproximação normal à binomial. Ela dimensiona uma única estimativa de acurácia, não uma comparação entre modelos, e ignora qualquer agrupamento ou uso repetido dos mesmos itens. Trate o resultado como uma linha de base para planejamento.