최종 업데이트: 2026-06-22

LLM 학습 시간과 비용

대규모 언어 모델 학습은 가속기 클러스터에 흩어진 고정된 양의 산술 연산이므로, 작업량과 하드웨어를 알면 소요 시간과 청구액을 모두 예측할 수 있습니다. 이 계산기는 전체 학습 FLOPs, GPU 수, GPU당 최고 처리량, 모델 FLOPs 활용률, 시간당 임대 가격으로부터 학습의 벽시계 시간과 GPU 시간 비용을 추정합니다.

추정값이 다루는 범위

학습의 부동소수점 작업 총량은 흔히 파라미터 수에 학습 토큰 수를 곱하고 6을 곱한 값, 곧 하나의 양으로 잘 근사됩니다. 그 총량이 정해지면 일정을 바꾸는 것은 클러스터가 얼마나 빨리 그것을 처리하느냐뿐입니다. 클러스터의 유지 속도는 가속기들의 최고 속도를 합한 뒤, 실제로 쓰는 비율인 모델 FLOPs 활용률로 줄인 값입니다. 작업량을 이 속도로 나누면 시간이 나오고, 시간에 GPU 수와 시간당 가격을 곱하면 비용이 나옵니다.

계산식

전체 작업량을 FLOPs 단위의 $C$, 각각 $P$ TFLOP/s인 가속기를 $n$개, 활용률을 $U$, GPU당 시간당 가격을 $c$라 하면 학습 시간 $t$와 전체 비용 $T$는 다음과 같습니다.

$10^{12}$ 계수는 TFLOP/s를 FLOP/s로 환산하므로 $t$는 초 단위로 나오고, 3600으로 나누면 가격을 매기기 전 GPU 시간이 됩니다. GPU 수를 두 배로 늘리면 같은 작업량을 더 일찍 끝낼 뿐이므로 시간은 절반이 되지만 GPU 시간 비용은 그대로 유지됩니다.

계산 예시

$5.88 \times 10^{23}$ FLOPs 규모의 학습을 각각 989 TFLOP/s인 가속기 1,024개에서 활용률 40%로, GPU당 시간당 2.50에 임대해 돌리는 경우를 살펴봅니다.

이 학습은 약 17일이 걸리고 GPU 임대 비용으로 백만이 조금 넘게 듭니다. 활용률을 40%에서 50%로 올리면 시간과 비용이 모두 5분의 1만큼 줄어드는데, 같은 하드웨어에서 더 많은 성능을 끌어내는 것이 가장 저렴한 최적화인 이유가 여기 있습니다.

한계

이 추정값은 학습이 연산에 묶여 있고 활용률 수치가 이미 작업 전체에 걸쳐 평균을 낸 값이라고 가정합니다. 체크포인트 기록, 데이터 로딩 지연, 하드웨어 실패 후 재시작, 검증 통과, 예약은 해 두었지만 연산하지 않는 유휴 시간은 제외합니다. 네트워크, 스토리지, 스팟과 예약 가격의 차이도 실제 총액을 움직입니다. 결과는 계획용 기준으로 보고 부가 비용을 위한 여유를 더하십시오. 이 계산에 들어가는 전체 작업량은 학습 FLOPs 계산가 도출하고, 청구액의 순수 임대 쪽은 GPU 클라우드 비용 계산기가 다룹니다.