Última actualización: 2026-06-22

pass@k

pass@k es la forma estándar de puntuar modelos de lenguaje en tareas donde una respuesta candidata puede verificarse de forma automática, sobre todo la generación de código, donde cada intento supera o no un conjunto de pruebas. En lugar de preguntar si una única respuesta es correcta, pass@k pregunta si alguno de k intentos lo es. Esta calculadora transforma la tasa de éxito por muestra de un modelo en pass@k, de modo que una única precisión medida puede proyectarse a cualquier número de intentos.

Qué mide pass@k

Para cada problema de un benchmark, el modelo genera k soluciones candidatas independientes, y el problema cuenta como resuelto si al menos una candidata pasa. pass@k es la fracción de problemas resueltos bajo esa regla. pass@1 es la precisión ordinaria en un solo intento; pass@10 y pass@100 miden con qué frecuencia el modelo puede alcanzar una respuesta correcta dispuesto de varios intentos. La métrica cobra importancia siempre que un verificador externo —un conjunto de pruebas, un compilador, un comprobador de demostraciones— puede reconocer una respuesta correcta entre muchas candidatas, porque entonces los intentos adicionales se traducen directamente en más problemas resueltos.

La fórmula

Si cada muestra tiene éxito de forma independiente con probabilidad $p$, entonces una única muestra falla con probabilidad uno menos $p$, y las $k$ muestras fallan con probabilidad $(1-p)^k$. pass@k es el complemento:

donde $P_k$ es pass@k y $q_k$ es la probabilidad de que todos los intentos fallen. La probabilidad de fallo total se reduce geométricamente con $k$, razón por la cual incluso una tasa por muestra modesta tiende hacia la certeza con suficientes intentos.

Ejemplo resuelto

Supongamos que un modelo resuelve un problema de programación en el 40 % de los intentos individuales, y la evaluación permite 10 muestras:

Una tasa por muestra del 40 % se convierte en un pass@10 de alrededor del 99 %. El salto ilustra por qué las cifras de pass@k crecen tan deprisa con k, y por qué las tablas de benchmark reportan varios valores de k uno junto a otro: la forma de esa curva dice más sobre un modelo que cualquier punto aislado.

Cómo se mide

Estimar pass@k extrayendo exactamente k muestras es ruidoso. Benchmarks como HumanEval extraen en su lugar un conjunto mayor de $n$ muestras, cuentan las $c$ que tienen éxito y emplean el estimador insesgado $P_k = 1 - \binom{n-c}{k} / \binom{n}{k}$, que promedia sobre cada forma de elegir $k$ de las $n$ muestras. La forma de independencia que se usa aquí coincide con ese estimador cuando $p$ se toma como $c/n$, y es la herramienta adecuada para proyectar una tasa de éxito conocida a un presupuesto de intentos elegido. La forma supone un éxito igual e independiente entre muestras; a una temperatura muy baja las muestras se vuelven casi idénticas y añadir más ayuda poco. Para planificar cuántos problemas necesita una evaluación para una estimación estable, véase la Calculadora de tamaño de muestra para evaluación de LLM.