최종 업데이트: 2026-06-22

데이터 병렬 확장

데이터 병렬화는 모델을 더 빨리 학습하는 가장 흔한 방법입니다. 모델을 여러 가속기로 복제하고, 각 복제본에 배치의 일부를 주고, 매 단계 그 기울기를 평균합니다. 이상적이라면 처리량이 장치 수에 정확히 비례해 오를 것입니다. 그러나 실제로는 그렇지 않은데, 복제본들을 동기화 상태로 묶어 두는 기울기 평균이 클러스터에 따라 늘어나는 시간을 들기 때문입니다. 이 계산기는 이상적인 선형 처리량과 그 손실을 반영한 현실적 처리량을 분리하고, 그에 따른 가속비를 보여줍니다.

이상 대 실제

이상 처리량은 완벽한 확장이 줄 값으로, 모든 장치가 부가 부담 없이 단독 처리율을 온전히 보탭니다. 실제 처리량은 그 이상값을 확장 효율, 곧 병렬 실행의 모든 결함을 흡수하는 0과 1 사이의 단일 비율로 깎은 값입니다. 효율 0.9는 클러스터가 이론적 최대치의 90%를 낸다는 뜻이므로, 64개 장치 작업은 완벽히 확장하는 57.6개 장치처럼 동작합니다.

계산식

장치 수 $d$, 장치당 처리량 $v$, 확장 효율 $E$가 주어지면 이상 처리량 $I$, 실제 처리량 $A$, 단일 장치 대비 가속비 $S$는 다음과 같습니다.

단일 장치는 $v$로 돌고 클러스터는 $A = d \cdot v \cdot E$로 돌기 때문에, 가속비는 단순히 장치 수에 효율을 곱한 값입니다.

계산 예시

각각 단독으로 초당 2,000 샘플을 유지하는 64개 장치를, 측정된 확장 효율 0.9로 돌리는 경우를 살펴봅니다.

클러스터는 초당 115,200 샘플을 처리하는데, 이는 완벽한 확장이 가리키는 64배가 아니라 단일 장치 대비 57.6배 가속입니다. 그 차이인 초당 약 13,000 샘플이 복제본을 동기화 상태로 유지하는 비용입니다.

한계

이 모델은 확장 손실의 모든 원인을 사용자가 제공하는 하나의 효율 수치로 압축하며, 그 수치를 인터커넥트 대역폭, 모델 크기, 배치로부터 예측하지 않습니다. 효율은 또한 일정한 경우가 드뭅니다. 장치당 연산이 고정된 채 기울기 올리듀스가 늘어나므로 보통 장치를 더할수록 떨어집니다. 따라서 한 클러스터 크기에서 측정한 값을 다른 크기에서 가정해서는 안 됩니다. 여기서는 순수 데이터 병렬화를 가정하며, 그 복제가 배치에 미치는 영향은 실효 배치 크기 계산가 다루고, 모델을 파이프라인 단계로 나눌 때 생기는 별개의 부가 비용은 파이프라인 병렬 버블 계산가 다룹니다.