Dernière mise à jour : 2026-06-22

Débit d'inférence

Le débit d'inférence correspond au nombre de jetons qu'un modèle de langage peut générer par seconde. Pour une requête isolée, le plafond n'est pas fixé par la puissance arithmétique brute de l'accélérateur, mais par la vitesse à laquelle il peut lire les poids du modèle depuis la mémoire. Ce calculateur convertit la taille du modèle, la précision des poids et la bande passante mémoire du matériel en ce plafond — la limite, en jetons par seconde, d'un flux de décodage unique.

Pourquoi le décodage est limité par la mémoire

Générer du texte de façon autorégressive consiste à produire un jeton, puis à le réinjecter pour produire le suivant. Chacune de ces étapes doit lire tous les poids du modèle pour calculer un seul nouveau jeton. Avec une taille de lot de un, l'accélérateur effectue très peu d'arithmétique pour chaque octet chargé : il passe donc presque tout son temps à déplacer des poids plutôt qu'à multiplier. Le débit de jetons est par conséquent régi par la bande passante mémoire. (Le préremplissage de l'invite est l'inverse : il traite tous les jetons de l'invite ensemble et est limité par le calcul.)

La formule

On détermine d'abord la mémoire occupée par les poids, puis on divise la bande passante disponible par celle-ci :

Ici $N$ est le nombre de paramètres en milliards, $b$ le nombre d'octets stockés par paramètre, $M$ la taille du modèle en gigaoctets, $BW$ la bande passante mémoire en gigaoctets par seconde et $v$ la limite de débit en jetons par seconde. Comme un milliard d'octets équivaut à peu près à un gigaoctet, saisir les paramètres en milliards fait tomber la taille directement en gigaoctets. La précision des poids $b$ vaut 2 octets pour des poids en 16 bits, 1 octet en 8 bits et un demi-octet en 4 bits.

Exemple chiffré

Prenons un modèle de 70 milliards de paramètres en précision 16 bits, servi sur un accélérateur doté de 3 350 GB/s de bande passante mémoire :

Un flux unique plafonne donc autour de 24 jetons par seconde. Quantifier le même modèle en 4 bits le réduit à 35 GB et relève le plafond à environ 96 jetons par seconde — un gain d'un facteur quatre qui reflète la réduction d'un facteur quatre des octets lus par jeton.

Lire le résultat

Ce chiffre est une borne supérieure, et non une promesse. Il ne comptabilise que le trafic lié au transfert des poids ; le cache clé-valeur, le calcul de l'attention et le coût des noyaux le rognent tous, de sorte qu'un flux unique réel atteint généralement entre la moitié et les trois quarts du plafond. Servir de nombreuses requêtes en lot ne lit les poids qu'une fois pour tout le groupe, ce qui propulse le débit agrégé bien au-dessus du chiffre du flux unique — voir le Calculateur de débit d'inférence par lots. Pour convertir un débit de jetons en attente perçue par l'utilisateur, associez-le au Calculateur de latence d'inférence, et pour mesurer le degré d'utilisation du calcul du matériel, voir le Calculateur d'utilisation des FLOP du modèle (MFU).