Dernière mise à jour : 2026-06-22

pass@k

Le pass@k est la façon standard d'évaluer les modèles de langage sur les tâches où une réponse candidate peut être vérifiée automatiquement — la plus célèbre étant la génération de code, où chaque tentative passe ou non une suite de tests. Plutôt que de demander si une seule réponse est juste, le pass@k demande si l'une quelconque des k tentatives est juste. Ce calculateur convertit le taux de réussite par échantillon d'un modèle en pass@k, de sorte qu'une précision mesurée unique peut être projetée vers n'importe quel nombre de tentatives.

Ce que mesure le pass@k

Pour chaque problème d'un banc d'essai, le modèle génère k solutions candidates indépendantes, et le problème compte comme résolu si au moins une candidate passe. Le pass@k est la fraction de problèmes résolus selon cette règle. Le pass@1 est la précision ordinaire en un seul coup ; le pass@10 et le pass@100 mesurent la fréquence à laquelle le modèle parvient à une réponse correcte en plusieurs essais. La métrique compte chaque fois qu'un vérificateur externe — une suite de tests, un compilateur, un vérificateur de preuves — peut reconnaître une réponse correcte parmi de nombreuses candidates, car les tentatives supplémentaires se traduisent alors directement par davantage de problèmes résolus.

La formule

Si chaque échantillon réussit indépendamment avec une probabilité $p$, alors un seul échantillon échoue avec une probabilité un moins $p$, et tous les $k$ échantillons échouent avec une probabilité $(1-p)^k$. Le pass@k est le complément :

où $P_k$ est le pass@k et $q_k$ la probabilité que toute tentative échoue. La probabilité d'échec total décroît géométriquement avec $k$, ce qui explique pourquoi même un taux par échantillon modeste tend vers la certitude avec suffisamment de tentatives.

Exemple chiffré

Supposons qu'un modèle résolve un problème de code sur 40 % des tentatives uniques, et que l'évaluation autorise 10 échantillons :

Un taux par échantillon de 40 % devient un pass@10 d'environ 99 %. Ce bond illustre pourquoi les chiffres de pass@k montent si vite avec k, et pourquoi les tableaux de bancs d'essai rapportent plusieurs valeurs de k côte à côte — la forme de cette courbe en dit plus sur un modèle que n'importe quel point isolé.

Comment il est mesuré

Estimer le pass@k en tirant exactement k échantillons est bruité. Des bancs d'essai comme HumanEval tirent plutôt un ensemble plus grand de $n$ échantillons, comptent les $c$ qui réussissent et utilisent l'estimateur sans biais $P_k = 1 - \binom{n-c}{k} / \binom{n}{k}$, qui moyenne sur toutes les façons de choisir $k$ des $n$ échantillons. La forme d'indépendance utilisée ici coïncide avec cet estimateur lorsque $p$ est pris égal à $c/n$, et c'est le bon outil pour projeter un taux de réussite connu vers un budget de tentatives choisi. Cette forme suppose une réussite égale et indépendante entre les échantillons ; à très basse température, les échantillons deviennent quasi identiques et en ajouter aide peu. Pour planifier le nombre de problèmes qu'une évaluation nécessite pour une estimation stable, voir le Calculateur de taille d'échantillon pour l'évaluation de LLM.