최종 업데이트: 2026-06-22

양자화 기반 모델 크기

대규모 언어 모델의 디스크 용량은 파라미터가 몇 개이고 각 파라미터를 몇 비트로 저장하는지에 의해 거의 전적으로 결정됩니다. 가중치란 결국 하나의 숫자이고 모델은 그 숫자들의 긴 목록이므로, 파라미터 수에 파라미터당 비트 폭을 곱한 뒤 바이트로 환산하면 파일 크기를, 나아가 모델을 적재하는 데 필요한 메모리를 상당히 정확하게 추정할 수 있습니다. 이 계산기는 파라미터 수와 양자화 형식을 십진 기가바이트와 이진 기비바이트 두 가지 수치로 변환합니다.

공식

파라미터 수 $N$(10억 단위)과 파라미터당 비트 폭 $b$가 주어지면, 십진 기가바이트 단위의 가중치 크기는 다음과 같습니다.

8로 나누는 것은 비트를 바이트로 환산하기 위함입니다. 10억 바이트가 정확히 1 십진 기가바이트이므로, $N$을 10억 단위로 표현하면 결과가 곧바로 기가바이트로 나옵니다. 같은 양을 대부분의 운영체제와 GPU 도구가 표시하는 단위인 이진 기비바이트로 나타내면 다음과 같습니다.

1 기비바이트는 $2^{30} = 1{,}073{,}741{,}824$바이트이기 때문입니다.

계산 예시

대부분의 모델이 배포되는 표준 반정밀도 형식인 파라미터당 16비트로 저장된 70억 파라미터 모델을 생각해 봅시다.

따라서 가중치는 디스크에서 약 14 GB를 차지하며, 메모리 도구는 이를 약 13 GiB로 표시합니다. 같은 모델을 4비트로 양자화하면 각 가중치를 4분의 1 공간에 저장하므로 파일은 약 3.5 GB로 줄어듭니다.

정밀도 선택

전체 32비트 정밀도는 주로 학습 단계에서 사용됩니다. 배포 시에는 16비트가 통상적인 기준이며, 8비트와 4비트 양자화는 정확도를 다소 양보하는 대신 점유 용량을 절반 또는 4분의 1로 줄입니다. INT4 같은 저비트 형식은 수백억 파라미터 규모의 모델을 단일 소비자용 GPU에 올릴 수 있게 해 줍니다. 여기서의 크기 추정값은 가중치만 다루며, 모델을 실제로 실행하려면 활성화와 키-값 캐시를 위한 공간도 필요합니다. 이는 LLM 추론 VRAM 계산기에서 다룹니다. 특정 연결에서 이 크기를 전송 시간으로 환산하려면 모델 다운로드 시간 계산기를 참고하십시오.