Dernière mise à jour : 2026-06-22

Le nombre de jetons d'un jeu de données

Entraîner et budgéter un modèle de langage part d'une seule grandeur : le nombre de jetons que contient le jeu de données. Les corpus, pourtant, se décrivent d'ordinaire en mots, en documents ou en gigaoctets, jamais en jetons, alors que le modèle ne lit que des jetons. Ce calcul comble cet écart en convertissant un nombre de mots en une estimation de jetons grâce à un ratio de jetons par mot, puis en appliquant le nombre d'époques pour donner le total que le modèle traitera.

Des jetons, pas des mots

Un jeton est l'unité élémentaire que produit un tokeniseur lorsqu'il découpe le texte en fragments de sous-mots. Les mots fréquents deviennent souvent un seul jeton, tandis que les mots plus rares ou plus longs sont scindés en plusieurs : un passage contient donc presque toujours plus de jetons que de mots. Comme la correspondance est apprise par le tokeniseur, le ratio entre jetons et mots est une propriété du tokeniseur et du texte plutôt qu'une constante universelle. Traiter mots et jetons comme interchangeables sous-estime le total réel et, avec lui, le calcul qu'un entraînement exigera.

Comment fonctionne l'estimation

La taille du corpus entre en millions de mots, $W$. La multiplier par le ratio de jetons par mot $r$ donne les jetons d'un passage unique sur les données. Répéter le corpus sur $e$ époques multiplie le travail effectué par le modèle : les jetons d'entraînement effectifs valent donc le total d'un passage multiplié par le nombre d'époques. Un chiffre en milliards est dérivé du total en millions, car les tailles de jeux d'entraînement se citent le plus souvent en milliards de jetons.

La formule

Avec $W$ en millions de mots, le ratio $r$ et $e$ époques, le total d'un passage $T$ (millions), sa forme en milliards et le total d'entraînement multiplié par les époques $E$ (millions) valent

Le chiffre en milliards est simplement $T\,/\,1000$.

Exemple chiffré

Soit un corpus de 100 millions de mots tokenisé à 1,3 jeton par mot et entraîné sur trois époques :

Un passage sur les données représente environ 130 millions de jetons, soit 0,13 milliard. Entraîner sur trois époques signifie que le modèle effectue des passes avant et arrière sur l'équivalent de 390 millions de jetons, alors que 130 millions seulement sont uniques. Le total unique décrit l'information disponible ; le total multiplié par les époques décrit le travail et donc le calcul.

Choisir le ratio

Pour un texte courant et un tokeniseur moderne par paires d'octets, un ratio d'environ 1,3 jeton par mot constitue une valeur par défaut raisonnable, et environ quatre caractères par jeton en est une approximation voisine. Le code, les mathématiques et les écritures non latines tendent à se fragmenter en davantage de jetons, ce qui relève le ratio. La démarche fiable consiste à passer le tokeniseur prévu sur un échantillon représentatif et à diviser sa sortie en jetons par le nombre de mots de cet échantillon, puis à utiliser ici le ratio mesuré. La conversion inverse, d'un budget de jetons vers une longueur lisible, est traitée par le Calculateur de jetons en mots.

Limites

Le résultat est une estimation. Le nombre exact de jetons dépend du tokeniseur retenu, de la mise en forme et des espaces, ainsi que de la façon dont les documents sont assemblés, autant d'éléments qu'un ratio unique ne capte pas parfaitement. Compter les époques comme des jetons supplémentaires est correct pour le calcul et les lois d'échelle, mais les jetons répétés n'apportent aucune information nouvelle et offrent des rendements décroissants au-delà de quelques passages. Pour vérifier qu'un jeu de données est assez vaste pour une taille de modèle donnée, comparez le total d'un passage à la cible optimale en calcul du Tokens optimaux selon Chinchilla.