Zuletzt aktualisiert: 2026-06-22

Die Energiekosten der Inferenz erklärt

Die Energiekosten der Inferenz sind der Stromaufwand — und die damit verbundenen CO₂-Emissionen — für die Beantwortung eines bestimmten Volumens an Inferenzanfragen eines großen Sprachmodells (LLM). Sie leiten sich aus einem Energiewert je Anfrage ab, der mit der Zahl der Anfragen skaliert, anschließend zu einem Strompreis bewertet und über die Emissionsintensität des lokalen Stromnetzes in CO₂ umgerechnet wird. Anders als das Training, das ein einmaliges Ereignis ist, fällt die Inferenzenergie bei jeder Anfrage erneut an, die ein bereitgestelltes Modell beantwortet, sodass sie im großen Maßstab den betrieblichen Fußabdruck eines ausgelieferten Modells dominiert.

Die Formeln

Sei $N$ die Anzahl der Anfragen und $E_q$ die Energie je Anfrage. Die Gesamtenergie ist ihr Produkt, die Stromkosten multiplizieren die Energie mit dem Preis $p_e$ je Kilowattstunde, und die Emissionen multiplizieren die Energie mit der Netzintensität $I_g$ in Gramm Kohlendioxid je Kilowattstunde, geteilt durch 1000, um Kilogramm zu erhalten:

Die Energie je Anfrage ist gering — eine kurze Antwort auf einem gut ausgelasteten Beschleuniger liegt oft bei einem Bruchteil einer Wattstunde — weshalb die Werte vor der Anwendung von Preis und Emissionen in Kilowattstunden umgerechnet werden.

Rechenbeispiel

Betrachtet seien N = 1,000,000 Anfragen zu je $E_q = 0.5$ Wattstunden. Die Gesamtenergie beträgt

Bei einem Strompreis von p_e = \0.15$ je Kilowattstunde betragen die Kosten

Bei einer Netzintensität von $I_g = 400$ Gramm Kohlendioxid je Kilowattstunde — einem gemischten Netz im mittleren Bereich — betragen die Emissionen

Eine Million beantworteter Anfragen kosten somit etwa $75 an Strom und setzen rund 200 kg Kohlendioxid frei, noch vor Kühlungs- und Leerlaufaufwand über das hinaus, was $E_q$ bereits enthält.

Varianten und Anwendung

Die drei Eingaben verschieben das Ergebnis jeweils unabhängig voneinander. Die Energie je Anfrage hängt von Modellgröße, Sequenzlänge, Hardware und Batching ab; eine lange Generierung eines großen Modells auf unterausgelasteter Hardware benötigt weit mehr als eine kurze. Der Strompreis variiert nach Region und Vertrag, und die Netzintensität reicht von unter hundert Gramm je Kilowattstunde in von Wasser- oder Kernkraft geprägten Netzen bis über siebenhundert in kohlelastigen Netzen, sodass die Emissionen derselben Arbeitslast je nach Standort der Rechenleistung um ein Mehrfaches abweichen können. Energie und Kosten fließen in Infrastrukturentscheidungen ein, etwa in die Analyse Rechner für den Break-even von Eigenbetrieb gegenüber API, in der Strom Teil der variablen Kosten des Eigenbetriebs ist. Die Trainingsenergie ist ausgeschlossen: Sie ist ein gesonderter, einmaliger Aufwand, der auf jede vom Modell jemals beantwortete Anfrage umgelegt wird, sodass eine vollständige Lebenszyklusbetrachtung sie separat berücksichtigen muss. Das Ergebnis ist eine Größenordnungsschätzung, keine gemessene Erfassung.