Ultimo aggiornamento: 2026-06-22

Overhead dell'output strutturato

L'overhead dell'output strutturato è la quota di una risposta di un LLM costituita da formattazione anziché da contenuto. Quando si chiede a un modello di restituire JSON conforme a uno schema, esso deve emettere ogni nome di chiave, virgoletta, due punti, virgola e parentesi graffa oltre ai valori effettivi. Quei token strutturali vengono generati e fatturati esattamente come qualsiasi altro token di output, quindi una risposta che trasporta pochi valori brevi può spendere una grande frazione dei suoi token in impalcatura. Questo calcolatore isola quell'overhead fisso e il costo ricorrente che produce su un volume di chiamate.

Da dove proviene l'overhead

Ogni campo dell'oggetto restituito contribuisce con una chiave tra virgolette, i due punti che separano la chiave dal valore e una virgola prima del campo successivo. Un campo di nome shipping_status viene scomposto in più pezzi dal tokenizzatore prima ancora che venga scritto un valore. Oltre al costo per campo, ogni risposta porta un contorno fisso — le parentesi graffe di apertura e chiusura dell'oggetto e l'eventuale impalcatura dello schema che il fornitore inietta — contato una sola volta indipendentemente da quanti campi seguano. Poiché questo contorno e la struttura per campo non dipendono dai valori, l'overhead è costante per un dato schema e scala linearmente con il numero di chiamate.

La formula

Con $f$ campi a $t_f$ token di impalcatura ciascuno e $t_w$ token di incapsulamento, l'overhead per chiamata è

Su $n$ chiamate, il conteggio totale dei token strutturali e il suo costo a un prezzo di output $p$ per milione di token sono

La divisione per $10^6$ converte la quotazione per milione in una tariffa per token. L'output strutturato è generato dal modello, quindi l'overhead è fatturato alla tariffa di output, che è di norma il più alto dei due prezzi pubblicati.

Esempio svolto

Si consideri un compito di estrazione che restituisce un record di 12 campi, dove ogni campo costa circa 9 token di impalcatura e il contorno dell'oggetto aggiunge 5 token di incapsulamento. L'overhead per chiamata è

Eseguito su 40.000 chiamate a un prezzo di output di $15 per milione di token, il costo strutturale è

Quei $67,80 non acquistano alcuna informazione: pagano soltanto le parentesi graffe, le chiavi e le virgole che avvolgono i valori estratti. A questo volume, accorciare i nomi di chiave o eliminare campi inutilizzati si traduce direttamente in un risparmio ricorrente.

Note e varianti

La cifra per campo è una media; i nomi di chiave lunghi e descrittivi costano più di quelli concisi, e gli oggetti annidati aggiungono le proprie parentesi graffe e chiavi intermedie. Il modello emette anche i valori stessi, che questo calcolatore esclude — misura soltanto il minimo strutturale che uno schema impone. Laddove lo stesso compito possa essere servito da una rappresentazione più compatta, quel minimo scende di conseguenza.

Applicazione

L'overhead dell'output strutturato ricade sul lato output dell'importo. La sua controparte lato input — le definizioni degli strumenti inviate a ogni richiesta di chiamata di funzioni — è gestita dal Calcolatore dell'overhead di token della chiamata di funzioni. Per quotare l'uso di token per chiamata sottostante da cui questi overhead sono tratti, si veda il Calcolatore del costo dei token.