Dernière mise à jour : 2026-06-22

La taille d'échantillon pour l'évaluation de LLM

Lorsque vous mesurez la précision d'un modèle sur un banc d'essai, le chiffre que vous rapportez est une estimation issue d'un échantillon fini, et il comporte une incertitude. Exécutez le même modèle sur cinquante autres exemples et le score bougera. Ce calculateur répond à la question de planification qui précède toute évaluation : combien d'exemples faut-il pour que la précision mesurée se situe dans une marge d'erreur donnée à un niveau de confiance choisi.

La précision est une proportion

Un score de banc d'essai est la fraction d'exemples qu'un modèle traite correctement — une proportion. L'incertitude d'une proportion estimée est décrite par son erreur type, et un intervalle de confiance se construit en s'étendant d'un certain nombre d'erreurs types de chaque côté, fixé par le niveau de confiance. Exiger que cet intervalle ne soit pas plus large qu'une marge d'erreur cible fixe le nombre d'exemples nécessaires.

La formule

Ici $z$ est la valeur normale centrée réduite pour le niveau de confiance choisi, $p$ la précision attendue, $E$ la marge d'erreur et $n$ le nombre d'exemples, arrondi à l'entier supérieur. Deux caractéristiques importent. La marge intervient au carré : la diviser par deux quadruple l'exigence — la précision coûte cher. Et la précision intervient par le produit de $p$ et de son complément, qui culmine à un partage égal : un modèle attendu près du tirage à pile ou face nécessite le plus d'exemples, tandis qu'un modèle proche des extrêmes en nécessite moins.

Exemple chiffré

Supposons que vous attendiez environ 80 % de précision et vouliez la connaître à ±5 % près avec 95 % de confiance :

Environ 246 exemples suffisent donc. Si vous n'aviez aucune estimation a priori de la précision et utilisiez le pire cas à un partage égal, l'exigence monterait à 385. Resserrer la marge à ±2,5 % porterait le chiffre du pire cas à plus de 1 500 — une illustration concrète du coût en loi carrée de la précision.

Utiliser le résultat

Ce chiffre est une base qui suppose des exemples indépendants et l'approximation normale, toutes deux raisonnables à l'échelle d'une évaluation. Lorsque vous n'avez aucune estimation fiable de la précision, planifiez autour du chiffre conservateur de 50 %, puisque c'est la plus grande valeur que l'exigence puisse prendre. Ce calculateur dimensionne une estimation de précision unique ; décider si un modèle ou une invite bat réellement un autre est une comparaison de deux proportions qui requiert une taille d'effet et une puissance statistique, et généralement plus de données — pour cela, voir le Calculateur de significativité de test A/B. Pour raisonner plutôt sur les métriques de code à plusieurs échantillons, voir le Calculateur pass@k.