Calcolatore dell'ammortamento del prompt di sistema
Dati di input
| Token del prompt di sistema | 1.200 |
|---|---|
| Numero di chiamate | 1.000 |
| Prezzo di input (per 1M di token) | 3 $ |
| Sconto sulla lettura in cache | 90 % |
Calcolatore dell'ammortamento del prompt di sistema
Stima quanto il caching dei prompt fa risparmiare su un lungo prompt di sistema rinviato a ogni chiamata dell'LLM. Confronta il costo non in cache di ripetere il prefisso con il costo scontato in cache.
Dati di input
Prompt di sistema
Prezzo e caching
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
Ammortamento del prompt di sistema
L'ammortamento del prompt di sistema è la pratica di distribuire il costo di un prefisso di prompt fisso su molte chiamate anziché pagarlo per intero a ciascuna. Un prompt di sistema — le istruzioni, la persona e il contesto stabile che precedono il messaggio dell'utente — viene rinviato a ogni richiesta, perché il modello non conserva nulla tra una chiamata e l'altra. Senza un intervento, mille richieste pagano quel prefisso mille volte. Il caching dei prompt archivia il prefisso una sola volta e serve alle richieste successive una copia scontata, così che il costo fisso venga ammortizzato sul volume di chiamate. Questo calcolatore contrappone i totali senza cache e in cache e riporta il risparmio.
Perché il prompt si ripete
Un modello è privo di stato: ogni chiamata è indipendente, e tutto ciò che il modello deve sapere deve essere presente nell'input di quella chiamata. Un lungo prompt di sistema non è quindi un costo di configurazione una tantum, ma un'imposta per chiamata, addebitata alla tariffa dei token di input ogni volta. Più lungo è il prompt e più spesso viene inviato, maggiore è la quota dell'importo che consuma — la condizione esatta in cui il caching rende di più.
Come il caching cambia l'aritmetica
Alla prima chiamata il fornitore scrive il prefisso in una cache, fatturandolo a circa la tariffa di input normale. Ogni chiamata successiva che riutilizza lo stesso prefisso lo rilegge con uno sconto marcato — spesso intorno a un decimo della tariffa standard. Il prefisso ripetuto è quindi addebitato alla tariffa in cache per tutte le richieste tranne la prima.
La formula
Con un prompt di sistema di token a un prezzo di input per milione, il costo senza cache di inviarlo una volta e il totale senza cache su chiamate sono
CcallCu=106tsysp=Ccall⋅nCon uno sconto sulla lettura in cache , ogni lettura in cache costa , e il totale in cache paga il prefisso completo una volta alla prima chiamata più una lettura scontata a ogni chiamata:
Cc=Ccall(1−d)n+Ccall,Csave=Cu−CcEsempio svolto
Si consideri un prompt di sistema di 2.400 token a un prezzo di input di $3 per milione, inviato su 6.000 chiamate con uno sconto sulla lettura in cache del 90%. Il costo per chiamata senza cache è
Ccall=1062400×3=$0,0072quindi il totale senza cache è
Cu=0,0072×6000=$43,20Una lettura in cache costa 0{,}0072 \times (1 - 0{,}90) = \0{,}00072$, dando un totale in cache
Cc=0,00072×6000+0,0072=4,32+0,0072=$4,33Il risparmio è 43{,}20 - 4{,}33 = \38{,}87$, all'incirca una riduzione del 90% della porzione del prompt di sistema nell'importo. Lo sconto si applica solo al prefisso fisso; il messaggio variabile dell'utente in ogni chiamata è fatturato normalmente in entrambi i casi.
Note e varianti
Il modello presuppone che il prefisso sia stabile e riutilizzato mentre la cache è calda. Le cache scadono dopo un periodo di inattività, quindi chiamate molto distanziate possono pagare di nuovo il costo di scrittura; le lunghezze minime memorizzabili e il prezzo esatto di scrittura variano in base al fornitore. Un prompt breve o un basso numero di chiamate lasciano poco da ammortizzare. Il risparmio è massimo per un prompt lungo e stabile chiamato di frequente in una finestra breve.
Applicazione
Questo calcolatore si concentra sul prefisso del prompt di sistema. Per modellare il caching su una combinazione arbitraria di token di input in cache e non in cache all'interno di una singola chiamata, si veda il Calcolatore del risparmio con la cache dei prompt. Per quotare l'uso di token per chiamata sottostante da cui queste cifre sono tratte, si veda il Calcolatore del costo dei token.
Domande frequenti (FAQ)
Che cosa significa ammortizzare un prompt di sistema?
Un prompt di sistema è un prefisso fisso rinviato a ogni chiamata, quindi senza caching il suo costo di input si ripete per intero a ogni richiesta — mille chiamate pagano il prompt mille volte.
Ammortizzarlo significa pagare per archiviare il prompt una sola volta e poi riutilizzare quella copia archiviata a una tariffa ridotta, così che il costo fisso si distribuisca in modo sottile sul volume di chiamate anziché ripetersi a prezzo pieno. Più lungo è il prompt e più alto è il numero di chiamate, più c'è da ammortizzare.
Come il caching dei prompt riduce il costo?
Alla prima chiamata il fornitore scrive il prefisso del prompt in una cache, fatturandolo alla tariffa di input normale o vicina a essa. A ogni chiamata successiva che riutilizza lo stesso prefisso, la porzione in cache viene riletta con uno sconto marcato — comunemente intorno a un decimo della tariffa standard.
Il prefisso ripetuto è quindi addebitato alla tariffa in cache per tutte le richieste tranne la prima, ed è da qui che proviene il risparmio. Il modello elabora comunque la parte variabile di ogni prompt alla tariffa normale.
Quando il caching non conviene?
Il caching conviene quando lo stesso prefisso viene riutilizzato spesso e a breve distanza. Un prompt breve ha poco da ammortizzare, quindi il risparmio è modesto in termini assoluti.
Le cache scadono inoltre dopo un periodo di inattività, quindi chiamate molto distanziate possono pagare ciascuna il costo di scrittura senza beneficiare di una lettura. E se il prefisso cambia tra le chiamate — istruzioni diverse o contesto a rotazione — non c'è un blocco stabile da mettere in cache. Il caching giova soprattutto a un prompt lungo e stabile chiamato di frequente.
Avvertenze legali
Questo è un modello semplificato: i costi di scrittura della cache, le finestre di scadenza e le lunghezze minime memorizzabili variano in base al fornitore e qui sono approssimati. I prezzi pubblicati e le tariffe di sconto cambiano nel tempo. Conviene verificare le tariffe, i termini di caching e i conteggi esatti dei token aggiornati presso il proprio fornitore prima di basare una fatturazione su una cifra.