Ultimo aggiornamento: 2026-06-22

Che cos'è il costo energetico dell'inferenza

Il costo energetico dell'inferenza è la spesa per l'elettricità, con le relative emissioni di carbonio, necessaria a servire un volume di richieste di inferenza a un modello linguistico. Si ricava da un valore di energia per richiesta moltiplicato per il numero di richieste, quindi valorizzato a una tariffa elettrica e convertito in carbonio tramite l'intensità di emissione della rete locale. A differenza dell'addestramento, che è un evento una tantum, l'energia dell'inferenza si ripete a ogni richiesta evasa da un modello in servizio, per cui su larga scala domina l'impronta operativa di un modello.

Le formule

Sia $N$ il numero di richieste ed $E_q$ l'energia per richiesta. L'energia totale è il loro prodotto, il costo dell'elettricità moltiplica l'energia per il prezzo $p_e$ al chilowattora e le emissioni moltiplicano l'energia per l'intensità di rete $I_g$ in grammi di anidride carbonica al chilowattora, divisa per 1000 per ottenere i chilogrammi:

L'energia per richiesta è piccola, poiché un completamento breve su un acceleratore ben utilizzato è spesso una frazione di wattora, per cui le cifre vengono convertite in chilowattora prima di applicare prezzo ed emissioni.

Esempio svolto

Si considerino N = 1,000,000 richieste a $E_q = 0.5$ wattora ciascuna. L'energia totale è

A un prezzo dell'elettricità di p_e = \0.15$ al chilowattora, il costo è

A un'intensità di rete di $I_g = 400$ grammi di anidride carbonica al chilowattora, una rete mista di fascia media, le emissioni sono

Un milione di richieste servite costa quindi circa $75 di elettricità e rilascia all'incirca 200 kg di anidride carbonica, prima del raffreddamento e del consumo a riposo oltre a quanto $E_q$ già include.

Varianti e applicazione

I tre dati di ingresso spostano il risultato in modo indipendente. L'energia per richiesta dipende dalla dimensione del modello, dalla lunghezza della sequenza, dall'hardware e dal raggruppamento delle richieste; una generazione lunga da un modello grande su hardware poco utilizzato assorbe molto più di una breve. Il prezzo dell'elettricità varia per regione e contratto, e l'intensità di rete va da meno di cento grammi al chilowattora su reti a forte componente idroelettrica o nucleare a oltre settecento su reti a forte componente di carbone, per cui le emissioni dello stesso carico di lavoro possono differire di diverse volte a seconda di dove avviene il calcolo. L'energia e il costo alimentano scelte infrastrutturali come l'analisi del Calcolatore del punto di pareggio tra self-hosting e API, dove l'elettricità è parte del costo variabile del self-hosting. L'energia di addestramento è esclusa: è un costo separato, una tantum, ammortizzato su tutte le richieste che il modello evaderà, per cui un valore di ciclo di vita completo deve considerarla a parte. Il risultato è una stima dell'ordine di grandezza, non una misurazione strumentale.