Ultimo aggiornamento: 2026-06-22

Che cos'è il risparmio con le API batch

Il risparmio con le API batch è la riduzione di costo ottenuta inviando un carico di lavoro su un modello linguistico tramite l'endpoint batch asincrono di un fornitore anziché l'endpoint in tempo reale. Un'API batch accetta un insieme di richieste e le elabora entro una finestra di completamento dichiarata anziché immediatamente, e poiché il fornitore può pianificare il lavoro in modo flessibile sfruttando la propria capacità, fattura l'elaborazione a uno sconto fisso. Il risparmio è la differenza tra il costo in tempo reale e il costo batch scontato.

Come funziona

Il costo in tempo reale combina i token di input e di output alle rispettive tariffe per milione. Con $n_{\text{in}}$ e $n_{\text{out}}$ token ai prezzi $p_{\text{in}}$ e $p_{\text{out}}$ per milione:

Lo sconto batch $d$ è una proporzione fissa sottratta all'intero costo, che copre sia l'input sia l'output:

Poiché lo sconto è fisso, il risparmio si scala in modo diretto con la dimensione del carico di lavoro e con la tariffa di sconto.

Esempio svolto

Si prenda un carico di lavoro di 1.000.000 di token di input e 200.000 di output, ai prezzi di $3 per milione di input e $15 per milione di output, con uno sconto batch del 50%. Il costo in tempo reale è:

Il costo batch è la metà di esso:

per cui il risparmio è \6 - $3 = $3, una riduzione del 50%. Qui i contributi di input e output risultano uguali, \3 ciascuno, perché il prezzo di output più alto compensa il volume di output più piccolo.

Varianti

Lo sconto si applica in modo uniforme, per cui il risparmio in dollari cresce in proporzione alla fattura: un carico di lavoro dieci volte più grande fa risparmiare dieci volte tanto allo stesso sconto. Poiché l'output viene fatturato più dell'input, i batch a forte componente di completamento portano un risparmio assoluto maggiore a parità di conteggio dei token. Il vincolo chiave è la latenza. L'elaborazione in batch è asincrona, ossia i risultati arrivano entro la finestra di completamento del fornitore e non in modo sincrono, per cui si adatta al lavoro che non necessita di una risposta immediata: classificazione massiva, riassunto, esecuzioni di valutazione o generazione di contenuti non interattiva. Le richieste interattive, rivolte all'utente, non sono adatte.

Applicazione

Il risparmio batch è una leva di capacità di elaborazione non interattiva, applicata dopo che il volume di token di un carico di lavoro è noto. Sia il costo in tempo reale sia quello batch alimentano le stime più ampie in Calcolatore del costo dei token e Calcolatore del costo mensile di un LLM. L'elaborazione in batch e la cache sono sconti indipendenti che possono sommarsi sullo stesso processo; per lo sconto sull'input dovuto ai prefissi ripetuti si veda Calcolatore del risparmio con la cache dei prompt, e per leggere una tariffa per milione come token per unità di spesa si veda Calcolatore dei token per unità di spesa.