Ultimo aggiornamento: 2026-06-22

Overhead di token della chiamata di funzioni

L'overhead di token della chiamata di funzioni è il costo lato input di rendere gli strumenti disponibili a un grande modello linguistico. Per consentire a un modello di decidere se e come chiamare uno strumento, il fornitore serializza la definizione di ciascuno strumento — il suo nome, una descrizione in linguaggio naturale e uno schema JSON dei suoi parametri — nel prompt che il modello legge. Quelle definizioni sono fatte di token e vengono inviate a ogni richiesta, che uno strumento finisca per essere usato o no. Questo calcolatore isola quell'overhead fisso per chiamata e il costo ricorrente che produce su un volume di chiamate.

Perché gli strumenti sono fatturati a ogni chiamata

Un modello è privo di stato tra una richiesta e l'altra: non ricorda nulla da una chiamata alla successiva, quindi gli strumenti che può usare devono essere descritti di nuovo ogni volta. Non c'è modo di registrare uno strumento una sola volta e farvi riferimento a basso costo in seguito — la definizione completa viaggia nell'input di ogni chiamata. Una richiesta in cui il modello risponde direttamente, senza invocare nulla, paga comunque le definizioni, perché sono state fornite affinché l'opzione esistesse. Il costo scala quindi con il numero di strumenti esposti e la prolissità dei loro schemi, moltiplicato per quanto spesso si chiama il modello.

La formula

Con $m$ strumenti a $t_{tool}$ token ciascuno e $t_w$ token di incapsulamento che incorniciano il blocco degli strumenti, l'overhead per chiamata è

Su $n$ chiamate, l'overhead totale e il suo costo a un prezzo di input $p$ per milione di token sono

La divisione per $10^6$ converte la quotazione per milione in una tariffa per token. Le definizioni degli strumenti sono lette dal modello, quindi sono fatturate alla tariffa di input, di norma il più basso dei due prezzi pubblicati.

Esempio svolto

Si consideri un agente che espone 14 strumenti le cui definizioni contano in media 120 token ciascuna, con 18 token di incapsulamento a incorniciare il blocco. L'overhead per chiamata è

Eseguito su 25.000 chiamate a un prezzo di input di $3 per milione di token, il costo di overhead è

Quei $127,35 sono spesi prima ancora che si conti qualsiasi messaggio dell'utente o risposta del modello — pagano soltanto la descrizione degli strumenti a ogni richiesta. Instradare l'agente affinché esponga solo la manciata di strumenti pertinenti a ciascun compito, anziché tutti e 14, ridurrebbe questa cifra di diverse volte.

Note e varianti

La cifra per strumento dipende fortemente da quanto riccamente ciascuno strumento è descritto: descrizioni dettagliate dei parametri e molti campi opzionali gonfiano lo schema, mentre una definizione concisa resta compatta. L'overhead misurato qui è puramente il blocco degli strumenti; i token della conversazione e gli eventuali argomenti di chiamata che il modello emette sono separati. Il caching dei prompt può ridurre il costo ripetuto quando il blocco degli strumenti è stabile tra le chiamate, poiché una lettura in cache è fatturata a una tariffa ridotta.

Applicazione

L'overhead della chiamata di funzioni ricade sul lato input dell'importo. La sua controparte lato output — l'impalcatura JSON che il modello scrive in uscita quando è vincolato a uno schema — è gestita dal Calcolatore dell'overhead dell'output strutturato. Per quotare l'uso di token per chiamata sottostante da cui questo overhead è tratto, si veda il Calcolatore del costo dei token.