最後更新：2026-06-22

什麼是推論能源成本

推論能源成本是提供一定量語言模型推論請求所耗用的電費，以及其相關的碳排放。它由每次查詢的能源數據乘以查詢次數推導而來，再以電力費率計價，並依當地電網的排放強度換算為碳排放。不同於訓練是一次性事件，推論能源會隨已部署模型回答的每一次請求而反覆發生，因此在大規模下，它主導了已部署模型的營運足跡。

公式

設 $N$ 為查詢次數，$E_q$ 為每次查詢的能源。總能源為兩者之積，電費成本為能源乘以每度電價 $p_e$，碳排放則為能源乘以以每度二氧化碳克數計的電網強度 $I_g$，再除以 1000 換算為公斤：

每次查詢的能源很小，使用率良好的加速器上的簡短回覆通常僅為瓦時的零頭，因此在套用計價與排放之前，數據會先換算為度（千瓦時）。

範例計算

考慮 N = 1{,}000{,}000 次查詢，每次 $E_q = 0.5$ 瓦時。總能源為

在每度電價 p_e = \0.15$ 下，成本為

在電網強度 $I_g = 400$ 每度二氧化碳克數下（中等的混合電網），排放為

因此一百萬次查詢服務約耗費 $75 電費，並釋放約 200 公斤二氧化碳，這還不計入超出 $E_q$ 已包含部分之外的散熱與閒置負擔。

變化與應用

三項輸入各自獨立影響結果。每次查詢能源取決於模型大小、序列長度、硬體與批次處理；在使用率偏低硬體上由大型模型產生的長篇生成，耗用遠多於簡短者。電價隨地區與合約而異，而電網強度的範圍從水力或核能為主電網的每度一百克以下，到燃煤為主電網的每度七百克以上，因此相同工作負載的排放可因運算所在地不同而相差數倍。能源與成本可作為基礎設施抉擇的依據，例如 自架與 API 損益平衡計算機 分析，其中電力屬於自架的變動成本。訓練能源不計入：它是一次性的獨立成本，會分攤到該模型曾回答過的每一次查詢，因此完整的生命週期數據須另行計算。此結果為數量級的估計，而非計量量測值。