Dernière mise à jour : 2026-06-22

La latence d'inférence

La latence d'inférence est le temps qu'un utilisateur attend avant qu'un modèle de langage ne réponde. Pour une complétion en streaming, elle comporte deux parties distinctes : la pause initiale avant l'apparition du moindre texte, et le rythme régulier des jetons qui suit. Ce calculateur combine les deux avec la longueur de la réponse pour estimer le temps de réponse de bout en bout et le débit qu'une requête isolée connaît réellement.

Délai jusqu'au premier jeton et temps par jeton de sortie

Deux mesures décrivent un point de terminaison en streaming. Le délai jusqu'au premier jeton ($t_{ttft}$) est le temps écoulé entre l'envoi de la requête et l'apparition du premier jeton. Il couvre la lecture de l'invite, la construction du cache d'attention pour chaque jeton de l'invite — la phase de préremplissage, limitée par le calcul — et le décodage d'un jeton. Les invites longues l'allongent. Le temps par jeton de sortie ($t_{tpot}$), aussi appelé latence inter-jetons, est l'écart entre chaque jeton suivant pendant la phase de décodage. Le décodage est limité par la bande passante mémoire : chaque nouveau jeton lit une fois l'ensemble des poids du modèle, de sorte que ce chiffre reste à peu près constant et que son inverse correspond à la vitesse de génération en régime établi, en jetons par seconde.

La formule

Le premier jeton étant déjà inclus dans le délai jusqu'au premier jeton, chacun des jetons restants ajoute un écart inter-jetons :

où $N_{out}$ est le nombre de jetons de sortie, $T$ le temps de réponse total et $v$ le débit global. Le terme « moins un » garde le compte exact ; pour les réponses longues, il ne modifie quasiment pas le résultat.

Exemple chiffré

Supposons qu'un point de terminaison affiche un délai jusqu'au premier jeton de 200 ms et un temps par jeton de sortie de 20 ms — soit une vitesse de génération en régime établi de 50 jetons par seconde — et que le modèle produise une réponse de 500 jetons :

La réponse prend une dizaine de secondes, et le débit global de 49,1 jetons par seconde se situe juste en dessous des 50 jetons par seconde bruts, car le délai fixe du premier jeton se répartit sur toute la réponse. L'écart entre les deux chiffres se réduit pour les réponses longues et se creuse pour les réponses courtes, où la pause de démarrage domine.

Réduire la latence

Le délai jusqu'au premier jeton réagit à des invites plus courtes, à la mise en cache d'invites et à un matériel de préremplissage plus rapide. Le temps par jeton de sortie réagit à une bande passante mémoire supérieure, à la quantification et à des techniques comme le décodage spéculatif, qui émettent plusieurs jetons par passe du modèle. Comme le temps total croît avec chaque jeton généré, plafonner la longueur maximale de sortie est souvent le levier le plus direct pour les applications interactives. Pour explorer la manière dont le taux d'acceptation d'un modèle brouillon modifie le chiffre par jeton, voir le Calculateur d'accélération par décodage spéculatif, et pour modéliser la capacité à l'échelle d'une flotte, voir le Calculateur de jetons effectifs par seconde.