최종 업데이트: 2026-06-22

추론 에너지 비용이란

추론 에너지 비용은 일정량의 언어 모델 추론 요청을 처리하는 데 드는 전기 비용과 그에 따른 탄소 배출량이다. 쿼리당 에너지 수치에 쿼리 수를 곱한 뒤 전기 요금으로 환산하고, 지역 전력망의 배출 집약도를 이용해 탄소량으로 변환하여 구한다. 일회성 사건인 학습과 달리, 추론 에너지는 배포된 모델이 응답하는 요청마다 반복되므로 대규모에서는 서비스 중인 모델의 운영 발자국을 지배한다.

계산식

쿼리 수를 $N$, 쿼리당 에너지를 $E_q$라 한다. 총에너지는 이 둘의 곱이며, 전기 비용은 에너지에 킬로와트시당 가격 $p_e$를 곱한 값이고, 배출량은 에너지에 킬로와트시당 이산화탄소 그램 단위의 전력망 집약도 $I_g$를 곱한 뒤 킬로그램으로 환산하기 위해 1000으로 나눈 값이다.

쿼리당 에너지는 작다. 가동률이 높은 가속기에서 처리되는 짧은 응답은 흔히 와트시의 일부에 불과하다. 따라서 가격과 배출을 적용하기 전에 수치를 킬로와트시로 환산한다.

계산 예시

쿼리 N = 1{,}000{,}000건을 각 $E_q = 0.5$ 와트시로 처리하는 경우를 생각한다. 총에너지는 다음과 같다.

전기 요금이 킬로와트시당 p_e = \0.15$일 때, 비용은 다음과 같다.

중간 수준의 혼합 전력망에 해당하는 킬로와트시당 $I_g = 400$ 그램의 전력망 집약도에서 배출량은 다음과 같다.

따라서 100만 건의 쿼리는 전기 비용 약 $75이 들며, $E_q$가 이미 포함하는 범위를 넘어서는 냉각과 유휴 간접 비용을 제외하고 대략 200kg의 이산화탄소를 배출한다.

변동 요인과 활용

세 가지 입력은 각각 결과를 독립적으로 변화시킨다. 쿼리당 에너지는 모델 크기와 시퀀스 길이, 하드웨어, 배치 처리에 따라 달라진다. 가동률이 낮은 하드웨어에서 큰 모델이 수행하는 긴 생성은 짧은 것보다 훨씬 많은 전력을 끌어온다. 전기 요금은 지역과 계약에 따라 변하고, 전력망 집약도는 수력이나 원자력 비중이 높은 전력망의 킬로와트시당 100그램 미만에서 석탄 비중이 높은 전력망의 700그램 초과까지 분포하므로, 동일한 작업이라도 연산이 수행되는 위치에 따라 배출량이 몇 배 차이가 날 수 있다. 에너지와 비용은 자체 호스팅 대 API 손익분기 계산기 분석과 같은 인프라 선택에 반영되며, 그 분석에서 전기는 자체 호스팅 변동 비용의 일부다. 학습 에너지는 제외된다. 학습은 별도의 일회성 비용으로 해당 모델이 응답하는 모든 쿼리에 걸쳐 분산되므로, 전체 수명 주기 수치는 이를 별도로 산정해야 한다. 결과는 계측된 측정값이 아니라 자릿수 수준의 추정값이다.