최종 업데이트: 2026-06-22

연산 예산 기준 에폭 수

고정된 연산 예산과 고정된 데이터셋은 함께 모델이 데이터를 몇 번 읽을 수 있는지를 결정합니다. 학습을 계획하는 일은 흔히 이 질문으로 귀결됩니다. 주어진 PFLOP/s-일 할당, 알려진 크기의 모델, 알려진 토큰 수의 데이터셋이 있을 때 몇 에폭을 감당할 수 있는가? 이 계산기는 표준 비용 모델로 예산을 학습 가능 토큰으로 환산한 뒤 데이터셋 크기로 나눠 그 답을 줍니다.

연산, 토큰, 에폭

학습 연산은 흔히 PFLOP/s-일, 곧 1 petaflop을 하루 동안 유지한 양으로 할당됩니다. 학습 단계의 지배적인 비용은 토큰당 파라미터당 6회의 부동소수점 연산, 곧 순전파에 2회와 역전파에 약 4회로 잘 근사됩니다. 그 규칙은 연산 예산을 곧장 토큰 수로 바꿔 주는데, 연산 단위 예산을 토큰당 비용으로 나눈 값이 예산이 학습할 수 있는 토큰 수이기 때문입니다. 그 학습 가능 토큰을 데이터셋 크기로 나누면 전체 통과 횟수, 곧 에폭 수가 나옵니다.

계산식

$C$를 PFLOP/s-일 단위 예산, $N$을 억 단위 파라미터 수, $D$를 억 단위 데이터셋 토큰 수라 합니다. PFLOP/s-일 한 단위는 $8.64 \times 10^{19}$회의 연산이고, $N$억 파라미터는 여섯 번 연산 기준으로 $N \times 10^{18}$이므로, 학습 가능 토큰 $B$(억)와 에폭 $e$는 다음과 같습니다.

계산 예시

700억 개 파라미터 모델과 3,000억 토큰 데이터셋에 6,000 PFLOP/s-일 예산을 쓰는 경우를 살펴봅니다.

이 예산은 약 1.23조 개의 학습 가능 토큰을 감당하는데, 이는 3,000억 토큰 데이터셋을 약 네 번 완전히 통과하는 양입니다. 1을 이렇게 크게 웃도는 결과는 가용 연산에 비해 데이터셋이 작다는 신호입니다.

결과 읽기

에폭 수가 1에 가까우면 예산이 데이터를 한 번 통과하는 데 맞춰졌다는 뜻이며, 이는 대형 모델의 연산 최적 방식이 선호하는 영역입니다. 1을 크게 웃돌면 데이터를 여러 번 반복할 만큼 연산이 충분하다는 뜻이고, 새 토큰이 반복된 토큰보다 정보가 많으므로 같은 말뭉치를 돌리기보다 고유한 데이터를 더 모으는 편이 나은 경우가 많습니다. 1 미만이면 예산이 한 번 통과조차 감당할 수 없다는 뜻이므로, 더 작은 모델, 더 작은 데이터 부분집합, 더 많은 연산이 필요합니다. 예산에 맞춰 모델 크기와 토큰 수를 짝짓는 문제는 연산 최적 모델 크기 계산가 다룹니다.

한계

이 추정값은 토큰당 파라미터당 6회 연산 근사를 쓰며 예산 전부가 유용한 학습에 쓰인다고 가정합니다. 실제 학습은 최고 처리량의 일부만 유지하고, 통신과 파이프라인 부가 비용으로 시간을 잃으며, 평가와 재시작에 연산을 쓰므로 달성 가능한 에폭 수는 이 상한보다 낮습니다. 데이터셋이 충분한지 가늠할 기준이 되는, 주어진 모델 크기의 연산 최적 토큰 목표는 친칠라 최적 토큰 수 계산가 줍니다.