Dernière mise à jour : 2026-06-22

FLOP par jeton

Quelle quantité de calcul un modèle de langage consacre-t-il à un seul jeton ? La réponse sous-tend presque toutes les estimations rapides du domaine — budgets d'entraînement, coûts d'inférence et utilisation du matériel en découlent tous. Le raccourci standard est d'une simplicité remarquable : un transformeur dense effectue environ deux opérations en virgule flottante par paramètre pour traiter un jeton, et environ six pendant l'entraînement. Ce calculateur applique ces règles au nombre de paramètres d'un modèle.

La règle 2N

Le calcul d'un transformeur est dominé par de grandes multiplications matricielles, et dans chacune d'elles chaque poids est touché une fois par jeton. Une seule multiplication-accumulation compte pour deux opérations en virgule flottante — une multiplication et une addition — de sorte que pousser un jeton à travers un modèle de $N$ paramètres coûte environ deux opérations par paramètre, la règle 2N, à la passe avant. C'est l'estimation issue des travaux de Kaplan sur les lois d'échelle, devenue la monnaie universelle pour raisonner sur le calcul des modèles. Elle ignore délibérément tout ce qui n'est pas une multiplication matricielle pondérée par les paramètres, ce qui constitue une bonne approximation pour les grands modèles.

Coût en passe avant et en entraînement

Entraîner un modèle requiert aussi une passe arrière pour calculer les gradients. La passe arrière produit les gradients par rapport aux activations comme aux poids, chacun coûtant environ une passe avant, de sorte qu'elle double à peu près le travail de la passe avant. Le total équivaut à environ trois passes avant, soit six opérations par paramètre et par jeton (l'estimation 6N) :

avec le facteur $k$ égal à deux pour une passe avant et six pour une étape d'entraînement. Comme $N$ est saisi en milliards, le chiffre de la passe avant tombe directement en GFLOP.

Exemple chiffré

Pour un modèle de 70 milliards de paramètres en passe avant :

Chaque jeton généré coûte environ 140 GFLOP. Multiplier par le débit total d'un modèle donne le débit de calcul atteint, et diviser celui-ci par le pic d'un accélérateur donne son utilisation. Entraîner le même modèle coûterait $6 \times 70 = 420$ GFLOP par jeton, et multiplier le coût d'entraînement par le nombre total de jetons d'un jeu de données est la façon habituelle de dimensionner le budget de calcul d'une exécution d'entraînement.

Ce qu'elle laisse de côté

La règle ne compte que les multiplications matricielles portant les paramètres. Le mécanisme d'attention ajoute un terme distinct qui croît avec la longueur de séquence et ne dépend pas du nombre de paramètres ; pour les modèles typiques à des longueurs de contexte modérées, il est faible, mais à très grand contexte il peut devenir significatif. Les couches d'embedding et de normalisation sont elles aussi omises. Pour ces raisons, ce chiffre est une estimation pour l'échelle et le budget, et non un décompte exact d'instructions. Pour voir le calcul atteint en fraction du pic du matériel, poursuivez avec le Calculateur d'utilisation des FLOP du modèle (MFU).