최종 업데이트: 2026-06-22

LLM 학습 VRAM

대규모 언어 모델을 전체 파인튜닝하는 데 필요한 GPU 메모리는 모델을 단순히 실행할 때보다 훨씬 큽니다. 그 이유는 옵티마이저에 있습니다. 추론은 가중치만 들고 있으면 되지만, 학습은 모든 파라미터마다 기울기를 유지하고 옵티마이저의 실행 상태까지 보관한 뒤, 순전파 중에 저장된 활성화를 더해야 합니다. 이 계산기는 파라미터 수, 파라미터당 옵티마이저 메모리 비용, 그리고 따로 입력하는 활성화 값으로부터 전체 파인튜닝에 필요한 전체 VRAM을 추정합니다.

모델 상태가 가장 크다

학습에서 가장 큰 고정 비용은 모델 상태, 즉 가중치와 그 기울기, 옵티마이저 상태입니다. 파라미터 수를 10억 단위로 $N$, 파라미터당 바이트를 $B$라 하면 모델 상태는 다음만큼 차지합니다.

Adam을 쓰는 혼합 정밀도 학습의 표준 값은 파라미터당 16바이트이며, 내역은 다음과 같습니다. 순전파에 쓰는 16비트 가중치 2바이트, 그 16비트 기울기 2바이트, 수치 안정성을 위해 유지하는 32비트 마스터 가중치 사본 4바이트, 그리고 Adam의 두 모멘트 추정값(모멘텀과 분산) 각 4바이트씩입니다. 즉 모든 파라미터마다 $2 + 2 + 4 + 4 + 4 = 16\ \text{bytes}$입니다. 더 저렴한 옵티마이저는 옵티마이저 상태 항을 줄입니다. 8비트 Adam은 모멘트를 낮은 정밀도로 저장해 파라미터당 약 12바이트, 모멘텀을 쓰는 일반 SGD는 약 8바이트가 필요합니다.

활성화는 따로 입력한다

모델 상태는 모델과 옵티마이저가 정해지면 고정되지만 활성화는 그렇지 않습니다. 활성화는 역전파가 기울기를 계산할 수 있도록 순전파 중에 캐시해 두는 중간값으로, 그 크기는 파라미터 수가 아니라 배치 크기와 시퀀스 길이에 따라 커집니다. 이런 독립성 때문에 이 계산기는 활성화 메모리를 별도 입력으로 받아 단순히 더합니다.

여기서 $A$는 활성화 메모리(GB)입니다. 활성화 메모리는 학습 한 스텝을 실행해 피크 사용량을 읽어 측정하거나, 활성화를 보관하는 대신 역전파에서 다시 계산하는 활성화 체크포인팅으로 크게 줄일 수 있습니다.

계산 예시

혼합 정밀도 Adam으로 파인튜닝하는 70억 파라미터 모델을 두고, 우선 활성화 추정치 없이 시작해 봅니다.

모델 상태만으로도 112 GB로, 이미 단일 80 GB 가속기를 넘어섭니다. 현실적인 활성화 20 GB를 더하면 합계는 132 GB가 되어, 핵심이 분명해집니다. 16비트 추론으로는 손쉽게 서빙되는 7B 모델조차 주류 GPU 한 장으로는 전체 파인튜닝이 불가능합니다. 모델을 단순히 실행하는 데 필요한 훨씬 작은 메모리는 LLM 추론 VRAM 계산기에서 다룹니다.

LoRA가 그림을 바꾸는 이유

파라미터당 16바이트의 대부분은 기울기와 옵티마이저 상태이며, 이들은 실제로 학습되는 파라미터에만 존재합니다. LoRA는 기반 가중치를 동결하고 작은 저랭크 어댑터를 학습하므로, 기울기와 옵티마이저 상태가 전체 파라미터의 1% 미만에만 적용됩니다. 동결된 가중치는 여전히 메모리를 차지하지만, 가장 큰 항을 걷어낸 덕분에 전체 파인튜닝에 132 GB가 필요한 모델을 단일 24 GB 카드에 올릴 수 있습니다. 이 어댑터의 크기와 랭크가 그것을 어떻게 조절하는지는 LoRA 파라미터 계산기에서 다룹니다. 임시 버퍼와 프레임워크 할당이 실제 수치를 움직이므로, 여기서 나온 값은 계획용 추정치로 보고 실제 학습 스텝으로 확인하시기 바랍니다.