Ultimo aggiornamento: 2026-06-22

Perché il costo a più turni cresce

Le chiamate API a un modello linguistico sono prive di stato: il modello non conserva memoria tra le chiamate, per cui il client deve reinviare la conversazione precedente come contesto a ogni richiesta affinché il modello resti coerente. Quella cronologia reinviata viene fatturata come token di input ogni volta. Man mano che una conversazione si allunga, l'input di ciascun turno porta la cronologia accumulata di tutti i turni precedenti, per cui l'input per turno cresce e l'input cumulativo cresce più rapidamente del numero di turni.

La formula

Siano $N$ il numero di turni, $n_{sys}$ il prompt di sistema reinviato a ogni turno, $n_{turn}$ la nuova cronologia aggiunta per turno (il messaggio dell'utente più la risposta precedente) e $n_{out}$ l'output per turno. Al turno $k$ l'input è $n_{sys} + (k-1)\,n_{turn}$. Sommando su tutti i turni:

Il termine triangolare $\tfrac{N(N-1)}{2}$ è quadratico in $N$, ed è per questo che le conversazioni lunghe costano molto più di quanto un singolo turno suggerirebbe. Con i prezzi per milione $p_{in}$ e $p_{out}$:

Esempio svolto

Si prendano N = 10 turni, un prompt di sistema di 800 token, 600 nuovi token per turno, 400 token di output per turno, a $3 per milione di input e $15 per milione di output:

La conversazione costa circa 16,5 centesimi. Il termine della cronologia (27.000 token) supera di gran lunga gli 8000 token di prompt di sistema ripetuto: la maggior parte della fattura dell'input deriva dal reinvio della trascrizione crescente, non dalle istruzioni fisse.

L'effetto quadratico

Poiché $T_{in}$ si scala con $N^2$, raddoppiare il numero di turni quadruplica grosso modo il costo dell'input anziché raddoppiarlo. Una versione a 20 turni dell'esempio precedente reinvierebbe $600 \cdot \tfrac{20 \cdot 19}{2} = 114\,000$ token di cronologia, oltre quattro volte i 27.000 a dieci turni. Questo accumulo è una proprietà del reinvio della cronologia completa, indipendente dal prezzo per token.

Mitigazione

La crescita si riduce pagando la cronologia accumulata meno volte o a una tariffa inferiore: riassumere o troncare i turni vecchi limita quanta cronologia viene reinviata, mentre la cache dei prompt consente al fornitore di fatturare il contesto ripetuto a una tariffa ridotta. Il risparmio derivante dalla cache della porzione statica del contesto può essere stimato con Calcolatore del risparmio con la cache dei prompt. Per verificare che una trascrizione crescente rientri ancora nel modello prima che il costo diventi la preoccupazione, si veda Calcolatore di adattabilità alla finestra di contesto.