Calcolatore dell'impronta di carbonio dell'addestramento
Dati di input
| Ore-GPU | 1.000.000 |
|---|---|
| Potenza per GPU | 700 W |
| Efficienza energetica | 1,1 |
| Intensità di carbonio | 400 |
Calcolatore dell'impronta di carbonio dell'addestramento
Stima il consumo di elettricità e le emissioni di carbonio di un addestramento di un modello linguistico a partire dalle ore-GPU totali, dalla potenza assorbita per GPU, dall'efficienza energetica del data center e dall'intensità di carbonio della rete elettrica.
Dati di input
Calcolo
Rete elettrica
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
Impronta di carbonio dell'addestramento
Un grande addestramento assorbe potenza in modo costante per settimane, e il carbonio che emette è quell'elettricità moltiplicata per quanto è sporca la rete che la fornisce. Questo calcolatore stima l'impronta operativa di un'esecuzione a partire dalle ore-GPU totali, dalla potenza media assorbita da ciascun acceleratore, dall'efficienza energetica del data center e dall'intensità di carbonio della fornitura elettrica.
Le grandezze considerate
L'impronta qui è operativa: le emissioni dell'elettricità consumata durante l'addestramento, non il carbonio incorporato nella costruzione dei chip o della struttura. L'energia di un'esecuzione è data dalle ore-acceleratore per la potenza media per acceleratore, che fornisce l'energia assorbita dalle GPU stesse. Le strutture reali spendono energia anche per raffreddamento, conversione di potenza e distribuzione, perciò quel valore viene amplificato dall'efficienza energetica. Moltiplicando l'elettricità risultante per l'intensità di carbonio della rete si convertono i chilowattora in chilogrammi di CO2.
La formula
Con ore-GPU, una potenza media per acceleratore in watt, un'efficienza energetica PUE e un'intensità di carbonio della rete in grammi di anidride carbonica per chilowattora, l'energia e le emissioni sono
EM=1000H⋅p⋅PUE=1000E⋅IDividere la potenza in watt per 1000 dà i chilowatt, quindi risulta in chilowattora; dividere i grammi per 1000 dà i chilogrammi, e un'ulteriore divisione per 1000 dà le tonnellate metriche. Ogni ingresso entra in modo lineare, perciò dimezzarne uno qualsiasi dimezza l'impronta.
Esempio
Si consideri un'esecuzione da un milione di ore-GPU, con ciascun acceleratore che assorbe in media 700 watt, in una struttura con efficienza energetica 1,1, su una rete a 400 grammi di CO2 per chilowattora:
EM=10001000000×700×1.1=770000 kWh=1000770000×400=308000 kg=308 tonnellateL'esecuzione consuma 770 megawattora ed emette 308 tonnellate di CO2. Spostare la stessa esecuzione su una rete a 100 grammi per chilowattora ridurrebbe le emissioni a 77 tonnellate senza variare affatto l'energia, ed è per questo che il luogo e la pianificazione spesso dominano l'impronta.
Limiti
La stima copre solo le emissioni operative dell'elettricità. Esclude il carbonio incorporato nella produzione dell'hardware e nella costruzione della struttura, che può essere rilevante per esecuzioni brevi su apparecchiature nuove. La potenza assorbita varia con il carico ed è raramente al massimo nominale, l'efficienza energetica cambia con il clima e il carico, e l'intensità di carbonio della rete si sposta di ora in ora al variare del mix di generazione. Conviene usare valori misurati di potenza e dati di rete in tempo reale dove disponibili. Il costo energetico continuo dell'erogazione del modello addestrato è trattato dal Calcolatore del costo energetico dell'inferenza, mentre il lato del noleggio dello stesso calcolo è coperto dal Calcolatore del costo delle GPU cloud.
Domande frequenti (FAQ)
Come vengono stimate le emissioni?
Si calcola prima il consumo di elettricità dell'esecuzione: le ore-acceleratore per la potenza media per acceleratore danno l'energia delle GPU, e la moltiplicazione per l'efficienza energetica aggiunge l'overhead di raffreddamento e distribuzione della struttura.
Quell'energia totale in chilowattora viene poi moltiplicata per l'intensità di carbonio della rete in grammi di CO2 per chilowattora. Il risultato è l'impronta di carbonio operativa, ovvero le emissioni dell'elettricità consumata durante l'addestramento, espressa in chilogrammi e tonnellate.
Che cos'è l'efficienza energetica del data center?
L'efficienza energetica, o PUE, è il rapporto tra l'energia totale assorbita da un data center e quella che raggiunge effettivamente l'apparecchiatura di calcolo. L'eccesso va a raffreddamento, conversione di potenza e distribuzione.
Un PUE di 1,5 significa che ogni watt di calcolo porta con sé mezzo watt di overhead, mentre una struttura efficiente su larga scala raggiunge circa 1,1. Poiché il valore moltiplica l'intera stima energetica, sceglierne uno coerente con la struttura reale conta quanto la potenza delle GPU stesse.
Perché l'intensità di carbonio della rete conta così tanto?
L'intensità di carbonio è l'emissione per unità di elettricità, e varia enormemente per luogo e momento. La stessa esecuzione su una rete a forte componente di carbone, oltre i 700 grammi per chilowattora, può emettere diverse volte di più che su una rete ricca di idroelettrico, eolico o nucleare, sotto i 100.
Poiché le emissioni crescono in modo diretto con questo valore, dove e quando si pianifica un'esecuzione spesso cambia l'impronta più di qualsiasi miglioria di efficienza. Le medie annuali danno una stima di pianificazione; i dati di rete in tempo reale ne danno una più precisa.
Avvertenze legali
Questa stima copre solo le emissioni operative dovute al consumo di elettricità ed esclude il carbonio incorporato nella produzione dell'hardware e nella costruzione della struttura. La potenza assorbita, l'efficienza energetica e l'intensità di carbonio della rete variano nel tempo e nello spazio; conviene usare valori misurati dove disponibili e trattare il risultato come un'approssimazione.
Da provare dopo
Calcolatore del costo energetico dell'inferenza
Stima il costo dell'elettricità e le emissioni di anidride carbonica per l'esecuzione su larga scala dell'inferenza di un modello linguistico di grandi dimensioni (LLM), a partire da un valore di energia per richiesta, dal prezzo dell'elettricità e dall'intensità di carbonio della rete.