Dernière mise à jour : 2026-06-22

L'économie du cache d'invite expliquée

L'économie du cache d'invite est la réduction du coût d'entrée d'un appel de modèle de langage obtenue en servant une partie de l'invite depuis le cache. Lorsqu'un préfixe stable — une invite système, des définitions d'outils ou un contexte partagé — se répète d'un appel à l'autre, le fournisseur stocke sa forme traitée et facture les lectures suivantes de ces jetons à un tarif réduit. L'économie est l'écart entre le coût d'entrée sans cache et le coût d'entrée une fois la part en cache remisée.

Comment cela fonctionne

Soit $n$ le total des jetons d'entrée, $f$ la part servie depuis le cache, $p$ le prix d'entrée standard par million de jetons, et $d$ la remise de cache — la proportion retranchée du tarif pour une lecture en cache. La référence sans cache facture chaque jeton au plein tarif :

Avec le cache, la part non mise en cache n(1-f) est facturée au plein tarif et la part en cache $nf$ au tarif réduit p(1-d) :

L'économie est la différence, et le taux d'économie est cette différence rapportée à la référence :

Exemple chiffré

Soit un appel de 10 000 jetons d'entrée dont 70 % en cache, un prix d'entrée standard de 3 $ par million, et une remise de cache de 90 %. La référence sans cache est :

Les 3 000 jetons non mis en cache coûtent 0.003 \cdot 3 = \0.009$. Les 7 000 jetons en cache sont facturés à 10$0.007 \cdot 3 \cdot 0.1 = $0.0021$, de sorte que le coût avec cache est$$0.009 + $0.0021 = $0.0111$. L'économie est :

une réduction de $0.0189 / 0.03 = 63\%$ sur le coût d'entrée. Le chiffre par appel est petit, mais il se met à l'échelle avec le volume d'appels — une charge d'un million d'appels de ce type économise de l'ordre de 18 900 $.

Variantes

L'économie croît à la fois avec la part en cache et avec la remise. Une part $f$ plus élevée — portée par un préfixe stable plus grand — fait passer davantage de jetons sur le tarif réduit, tandis qu'une remise $d$ plus marquée élargit l'écart entre les deux tarifs. Avec f = 1 et d = 0.9, le coût d'entrée tombe de 90 % entiers. Quand peu de l'invite se répète, ou que les répétitions tombent hors de la fenêtre de cache, $f$ est faible et la réduction reste modeste. Le cache s'applique aux jetons d'entrée seulement ; les jetons de sortie sont facturés au tarif standard quoi qu'il arrive.

Application

Le cache d'invite est le plus efficace pour les agents et systèmes de conversation qui renvoient un contexte vaste et fixe à chaque tour, où le préfixe répété domine l'entrée. Le coût avec cache alimente les estimations par appel et mensuelle du Calculateur de coût en jetons et du Calculateur de coût mensuel d'un LLM. Le cache et le traitement par lots sont des remises indépendantes qui peuvent s'appliquer à la même charge ; pour l'alternative asynchrone voyez le Calculateur d'économies de l'API par lots, et pour lire le prix sous-jacent comme un pouvoir d'achat voyez le Calculateur de jetons par unité monétaire.