Dernière mise à jour : 2026-06-22

Le jeton expliqué

Un jeton est l'unité de texte qu'un modèle de langage lit et génère. Un découpeur segmente le texte brut en entrées d'un vocabulaire figé, où chaque entrée est typiquement un court fragment — un mot courant entier, un radical, un suffixe, un signe de ponctuation ou quelques caractères d'un mot rare. Les modèles facturent et bornent l'usage en jetons plutôt qu'en mots ou en caractères, de sorte que convertir entre jetons et les décomptes plus familiers de mots et de caractères exige les ratios moyens qu'un découpeur produit.

Ratios de conversion

Pour la prose anglaise, deux moyennes empiriques sont d'usage courant. Les mots se rapportent aux jetons à environ 1.33 jeton par mot, soit à peu près 0.75 mot par jeton. Les caractères se rapportent à environ 4 caractères par jeton. Étant donné un nombre de jetons $n$, un ratio jetons par mot $r_w$ et un ratio caractères par jeton $r_c$ :

Le nombre de mots divise par le ratio parce que plus de jetons par mot signifie moins de mots pour un même budget de jetons ; le nombre de caractères multiplie parce que chaque jeton porte un nombre à peu près fixe de caractères.

Exemple chiffré

Soit n = 1000 jetons de texte anglais ordinaire aux ratios par défaut $r_w = 1.33$ et $r_c = 4$ :

Ainsi un passage de 1000 jetons fait environ 752 mots et 4000 caractères — quelques paragraphes de prose, de l'ordre d'une page et demie de texte à double interligne. Les chiffres sont des estimations : la segmentation réelle d'un passage donné différera de la moyenne, et le nombre de mots est arrondi au mot entier le plus proche.

Variantes

Les ratios ne sont pas des constantes universelles. Ils varient avec trois facteurs :

• La langue. Les écritures que le découpeur représente moins efficacement — beaucoup d'écritures non latines, ou les langues à morphologie riche — produisent plus de jetons par mot, abaissant le nombre de mots par jeton.
• Le type de contenu. Le code source, les tableaux, la notation mathématique et le texte dense en chiffres ou en symboles rares se fragmentent en plus de jetons que la prose courante, augmentant $r_w$ et abaissant $r_c$.
• Le découpeur. Chaque famille de modèles emploie son propre vocabulaire, de sorte qu'un même texte donne des nombres de jetons différents d'un modèle à l'autre. Les ratios indiqués ici sont des moyennes pour l'anglais ; un décompte exact exige de passer le texte dans le découpeur du modèle cible.

Application

La conversion jetons-mots sert surtout à traduire entre un livrable écrit et le budget de jetons qu'il consomme. Une longueur cible en mots peut être convertie en un nombre de jetons approximatif pour la confronter aux limites d'un modèle avec le Calculateur de tenue dans la fenêtre de contexte, ou pour estimer la dépense avec le Calculateur de coût en jetons. Comme les ratios sont des moyennes, considérez le résultat comme une estimation de planification plutôt que comme une mesure précise, et réservez de la marge lorsque le chiffre se rapproche d'une limite stricte.