Dernière mise à jour : 2026-06-22

L'économie de l'API par lots expliquée

L'économie de l'API par lots est la réduction de coût obtenue en soumettant une charge de travail de modèle de langage par le point d'accès par lots asynchrone d'un fournisseur plutôt que par le point d'accès en temps réel. Une API par lots accepte un ensemble de requêtes et les traite dans un délai de livraison annoncé plutôt qu'immédiatement, et comme le fournisseur peut planifier le travail avec souplesse sur sa capacité, il facture ce débit à une remise forfaitaire. L'économie est la différence entre le coût en temps réel et le coût par lots remisé.

Comment cela fonctionne

Le coût en temps réel combine les jetons d'entrée et de sortie à leurs tarifs respectifs par million. Avec $n_{\text{in}}$ et $n_{\text{out}}$ jetons tarifés à $p_{\text{in}}$ et $p_{\text{out}}$ par million :

La remise par lots $d$ est une proportion forfaitaire retranchée de ce coût total, couvrant à la fois l'entrée et la sortie :

Comme la remise est forfaitaire, l'économie se met à l'échelle directement avec la taille de la charge et avec le taux de remise.

Exemple chiffré

Soit une charge de 1 000 000 de jetons d'entrée et 200 000 jetons de sortie, tarifés à 3 $ par million en entrée et 15 $ par million en sortie, avec une remise par lots de 50 %. Le coût en temps réel est :

Le coût par lots en est la moitié :

de sorte que l'économie est \6 - $3 = $3, une réduction de 50 %. Les contributions de l'entrée et de la sortie se trouvent ici égales — 3 \ chacune — parce que le prix de sortie plus élevé compense le volume de sortie plus faible.

Variantes

La remise s'applique uniformément, de sorte que l'économie en dollars croît en proportion de la facture : une charge dix fois plus grande économise dix fois plus à remise égale. Comme la sortie est facturée plus cher que l'entrée, les lots à forte génération portent une économie absolue plus grande pour un même nombre de jetons. La contrainte clé est la latence. Le traitement par lots est asynchrone — les résultats arrivent dans le délai de livraison du fournisseur, non de façon synchrone — il convient donc aux travaux qui n'exigent pas de réponse immédiate : classification en masse, résumé, campagnes d'évaluation ou génération de contenu hors ligne. Les requêtes interactives, destinées à l'utilisateur, ne s'y prêtent pas.

Application

L'économie par lots est un levier de débit hors ligne, appliqué une fois connu le volume de jetons d'une charge. Les coûts en temps réel et par lots alimentent tous deux les estimations plus larges du Calculateur de coût en jetons et du Calculateur de coût mensuel d'un LLM. Les lots et le cache sont des remises indépendantes qui peuvent se cumuler sur un même travail ; pour la remise d'entrée liée aux préfixes répétés voyez le Calculateur d'économies du cache d'invite, et pour lire un tarif par million comme des jetons par unité de dépense voyez le Calculateur de jetons par unité monétaire.