최종 업데이트: 2026-06-22

실효 배치 크기

실효 배치 크기는 옵티마이저 갱신 한 번에 기여하는 학습 예시의 수입니다. 장치 하나에서는 마이크로 배치와 같지만, 분산 학습은 작업을 여러 가속기로 펼치고 흔히 가중치를 바꾸기 전 여러 통과를 합산하므로, 옵티마이저가 실제로 보는 전역 배치는 단일 칩에 들어가는 양보다 수백 배 클 수 있습니다. 이 계산기는 그 전역 값과 그것이 나타내는 토큰을, 그 값을 만들어내는 세 곱셈 인자로부터 복원합니다.

전역 배치가 중요한 이유

문헌에 나오는 거의 모든 학습률 스케줄, 워밍업 길이, 수렴 결과는 장치당 마이크로 배치가 아니라 전역 배치를 기준으로 기술됩니다. 실효 배치를 다시 계산하지 않고 8개에서 64개 장치로 확장하는 팀은 최적화 동작을 자기도 모르게 바꾸게 됩니다. 같은 코드가 이제 갱신당 8배 큰 걸음을 옮기게 되어 발산하거나 정체될 수 있습니다. 따라서 실효 배치를 아는 것은 학습률을 튜닝하거나, 공개된 방식을 재현하거나, 클러스터 크기가 다른 두 학습을 비교하기 위한 전제 조건입니다.

계산식

세 독립 인자가 함께 곱해집니다. 장치당 마이크로 배치 $b$, 데이터 병렬 복제본 수 $d$, 기울기 누적 단계 $a$가 주어지면 실효 배치 $B$와 시퀀스 길이 $L$에서의 옵티마이저 단계당 토큰 $T$는 다음과 같습니다.

각 데이터 병렬 복제본은 자기 마이크로 배치를 처리하고 기울기가 평균되므로 복제본이 배치를 곱합니다. 누적은 갱신 한 번 전에 연속한 $a$번의 통과를 합산하므로 다시 한 번 곱합니다. 토큰 수는 단순히 시퀀스 수에 각 시퀀스의 길이를 곱한 값입니다.

계산 예시

64개 장치 각각에서 8 시퀀스의 마이크로 배치를, 4 누적 단계와 4,096 토큰 문맥으로 돌리는 경우를 살펴봅니다.

어떤 장치도 한 번에 8 시퀀스를 넘게 담지 않는데도 옵티마이저는 갱신당 2,048 시퀀스, 곧 약 840만 토큰을 봅니다. 누적 단계를 8로 두 배 늘리면 장치당 메모리는 전혀 바뀌지 않은 채 실효 배치가 4,096으로 오르지만, 갱신 사이의 통과 횟수가 두 배가 됩니다.

한계

이 모델은 전역 배치를 바꾸는 두 인자인 데이터 병렬 복제와 기울기 누적을 다룹니다. 텐서, 파이프라인, 시퀀스 병렬화는 의도적으로 제외합니다. 이들은 메모리에 맞추려고 모델 하나나 시퀀스 하나를 장치에 나누지만 전역 배치를 키우지는 않으므로, 복제본이 나뉘는 장치는 $d$에 세지 않아야 합니다. 토큰 값은 또한 고정된 시퀀스 길이를 가정하므로, 가변 길이나 패킹된 배치는 별도의 토큰 산정이 필요합니다. 마이크로 배치를 고르는 메모리 쪽은 그래디언트 누적 메모리 계산기가 다루고, 장치를 더할 때 처리량이 어떻게 확장되는지는 데이터 병렬 확장 계산가 다룹니다.