최종 업데이트: 2026-06-22

연산 최적 모델 크기

학습 연산량이 고정되어 있을 때, 친칠라 스케일링 법칙은 그 연산으로 얼마나 큰 모델을 만들어야 하고 몇 개의 토큰으로 학습해야 하는지에 답합니다. 연산 최적 배분은 예산 전부를 크기에 쏟지 않고 파라미터와 데이터를 보조를 맞춰 짝짓습니다. 이 계산기는 petaFLOP/s-일 단위의 연산 예산을 받아, 파라미터당 토큰 비율을 고정한 채 6ND 규칙을 역으로 풀어 최적 파라미터 수와 토큰 수를 돌려줍니다.

연산 예산의 배분

학습 연산량은 토큰당 파라미터당 약 6회의 부동소수점 연산이라는 6ND 규칙으로 잘 근사됩니다. 친칠라 연구는 고정된 예산에서 모델 크기와 데이터셋 크기가 파라미터당 약 20개의 학습 토큰으로 함께 커질 때 손실이 최소가 됨을 보여 주었습니다. 그 비율을 고정하면 연산식이 파라미터 수만의 관계식으로 바뀌고, 이를 풀어 주어진 예산이 뒷받침하는 모델 크기를 구할 수 있습니다.

계산식

예산을 petaFLOP/s-일 단위의 $C$, 파라미터당 토큰 비율을 $r$라 합니다. 예산을 FLOPs로 환산하고 $D = rN$을 $6\,N\,D$ 규칙에 대입하면 $6 \cdot N \cdot rN = C_{\text{FLOPs}}$가 되므로, 파라미터 수와 토큰 수는 다음과 같습니다.

여기서 $N$은 최적 파라미터 수(억 단위), $D$는 최적 토큰 수(억 단위)입니다. $8.64 \times 10^{19}$ 계수는 petaFLOP/s-일을 FLOPs로 환산하고, $10^{9}$로 나누면 $N$이 억 단위로 표현됩니다. 토큰이 파라미터에 묶이면 연산량이 파라미터 수의 제곱에 따라 늘어나므로 제곱근이 나타납니다.

계산 예시

중심 비율인 파라미터당 20 토큰에서 6,000 petaFLOP/s-일 예산을 살펴봅니다.

이 예산은 약 657억 개 파라미터 모델을 약 1.31조 토큰으로 학습하는 데 쓰는 것이 가장 좋습니다. 제곱근 의존성 때문에 예산을 두 배로 늘려도 최적 파라미터 수는 두 배가 아니라 약 √2배만 늘어납니다.

한계

이 계산은 고정된 학습 예산에서의 연산 최적 학습 손실만을 반영합니다. 작은 모델을 더 많은 토큰으로 학습하는 편이 실용적으로 더 나은 선택이 되게 만드는 모델 운영 비용은 따지지 않으므로, 실제로 배포되는 모델은 이 계산이 돌려주는 파라미터 수보다 작게 잡히는 경우가 많습니다. 고정 비율 자체도 데이터셋과 아키텍처에 따라 달라지는 추정값이고, 실제 학습은 최고 하드웨어 처리량의 일부만 유지합니다. 같은 절충의 데이터 쪽은 친칠라 최적 토큰 수 계산가 다루고, 선택한 구성의 순수 연산량은 학습 FLOPs 계산가 다룹니다.