최종 업데이트: 2026-06-22

친칠라 최적 토큰 수

친칠라 스케일링 결과는 언어 모델의 크기를 정하는 방식을 바꿔 놓았습니다. 고정된 연산 예산에서 가장 좋은 정확도는 모델을 가능한 한 크게 만드는 데서 나오는 것이 아니라, 파라미터와 학습 토큰을 함께 키우는 데서, 곧 파라미터 하나마다 약 20개의 학습 토큰을 짝지을 때 나온다는 사실을 보여 주었기 때문입니다. 이 계산기는 그 비율을 적용해 파라미터 수를 받아 연산 최적 토큰 수와 그에 따른 학습 연산량을 돌려줍니다.

연산 최적 비율

친칠라 이전의 일반적인 관행은 연산 예산의 대부분을 파라미터에 쓰고 데이터에는 비교적 적게 썼고, 그 결과 크기에 비해 충분히 학습되지 못한 모델들이 만들어졌습니다. 2022년 딥마인드 연구는 수백 번의 학습을 분석해 스케일링 법칙을 맞추었고, 주어진 예산에서 손실은 모델 크기와 데이터셋 크기가 보조를 맞춰 함께 커질 때 최소가 됨을 발견했습니다. 경험적 균형점은 최적 데이터셋을 파라미터당 약 20개의 학습 토큰에 둡니다. 따라서 파라미터가 $N$개인 모델은 약 $20\,N$개의 토큰으로 학습해야 합니다.

계산식

파라미터 수 $N$(억 단위)과 파라미터당 토큰 비율 $r$가 주어지면 최적 토큰 수와 그에 따른 학습 연산량은 다음과 같습니다.

여기서 $D$는 최적 학습 토큰 수(억 단위), $C$는 부동소수점 연산으로 표현한 학습 연산량입니다. 연산량은 토큰당 파라미터당 약 여섯 번을 부과하는 $6\,N\,D$ 규칙을 따르며, $10^{18}$ 계수는 억 단위로 표시한 $N$과 $D$를 절대 개수로 되돌립니다.

계산 예시

700억 개 파라미터 모델과 파라미터당 20 토큰이라는 중심 비율을 살펴봅니다.

연산 최적 데이터셋은 약 1.4조 토큰이고, 이를 학습하는 데 약 $5.88 \times 10^{23}$회의 연산이 듭니다. 비율을 높이면, 예컨대 파라미터당 100 토큰으로 올리면 토큰 수와 연산량이 모두 정비례해 늘어납니다.

한계

20대 1 비율은 고정된 학습 예산에서 학습 손실을 최소화하지만, 완성된 모델을 운영하는 비용은 의도적으로 무시합니다. 많은 요청에 답해야 하는 모델은 친칠라 최적값보다 훨씬 많은 토큰으로 학습하는 경우가 잦은데, 같은 품질이라면 더 오래 학습한 작은 모델이 운영하기에 더 저렴하기 때문입니다. 정확한 최적 비율 역시 데이터셋, 토크나이저, 아키텍처에 따라 달라지므로 20은 상수가 아니라 중심 추정값입니다. 고정된 연산 예산에 모델 크기를 맞추는 보완 문제는 연산 최적 모델 크기 계산가 다루고, 선택한 구성의 순수 연산량은 학습 FLOPs 계산가 다룹니다.