Ultimo aggiornamento: 2026-06-22

Che cos'è il risparmio con la cache dei prompt

Il risparmio con la cache dei prompt è la riduzione del costo dell'input di una chiamata a un modello linguistico che deriva dal servire parte del prompt dalla cache. Quando un prefisso stabile, ossia un prompt di sistema, le definizioni degli strumenti o un contesto condiviso, si ripete tra le chiamate, il fornitore ne memorizza la forma elaborata e fattura le letture successive di quei token a una tariffa ridotta. Il risparmio è la differenza tra il costo dell'input senza cache e il costo dell'input una volta scontata la quota in cache.

Come funziona

Sia $n$ il totale dei token di input, $f$ la quota servita dalla cache, $p$ il prezzo standard dell'input per milione di token e $d$ lo sconto cache, ossia la proporzione sottratta alla tariffa per una lettura in cache. La base senza cache fattura ogni token alla tariffa piena:

Con la cache, la quota non in cache n(1-f) viene fatturata alla tariffa piena e la quota in cache $nf$ alla tariffa scontata p(1-d):

Il risparmio è la differenza, e il tasso di risparmio è tale differenza rapportata alla base:

Esempio svolto

Si prenda una chiamata di 10.000 token di input con il 70% in cache, un prezzo standard dell'input di $3 per milione e uno sconto cache del 90%. La base senza cache è:

I 3.000 token non in cache costano 0.003 \cdot 3 = \0.009$. I 7.000 token in cache vengono fatturati al 10$0.007 \cdot 3 \cdot 0.1 = $0.0021$, per cui il costo con cache è$$0.009 + $0.0021 = $0.0111$. Il risparmio è:

una riduzione del $0.0189 / 0.03 = 63\%$ sul costo dell'input. La cifra per chiamata è piccola, ma si scala con il volume di chiamate: un carico di lavoro di un milione di chiamate simili fa risparmiare dell'ordine di $18.900.

Varianti

Il risparmio cresce sia con la quota in cache sia con lo sconto. Una quota $f$ più alta, spinta da un prefisso stabile più ampio, sposta più token sulla tariffa scontata, mentre uno sconto $d$ più consistente allarga il divario tra le due tariffe. Con f = 1 e d = 0.9 il costo dell'input cala dell'intero 90%. Quando poca parte del prompt si ripete, o le ripetizioni cadono al di fuori della finestra della cache, $f$ è piccolo e la riduzione è modesta. La cache si applica ai soli token di input; i token di output vengono fatturati alla tariffa standard in ogni caso.

Applicazione

La cache dei prompt è più efficace per gli agenti e i sistemi di chat che reinviano un contesto ampio e fisso a ogni turno, dove il prefisso ripetuto domina l'input. Il costo con cache alimenta le stime per chiamata e mensili in Calcolatore del costo dei token e Calcolatore del costo mensile di un LLM. La cache e l'elaborazione in batch sono sconti indipendenti che possono applicarsi allo stesso carico di lavoro; per l'alternativa asincrona si veda Calcolatore del risparmio con le API batch, e per leggere il prezzo sottostante come potere d'acquisto si veda Calcolatore dei token per unità di spesa.