최종 업데이트: 2026-06-22

파이프라인 병렬 버블

파이프라인 병렬화는 모델을 순차 단계로 나눠 각각을 서로 다른 장치 그룹에 두므로, 첫 장치의 계층 블록이 그 출력을 다음 장치로 넘기고, 그런 식으로 이어집니다. 덕분에 가속기 하나에 담기에 너무 큰 모델을 여러 장치에 펼칠 수 있지만, 특유의 대가가 따릅니다. 모든 단계가 한꺼번에 바쁠 수 없다는 점입니다. 배치의 시작에는 뒤 단계들이 데이터가 도달하기를 기다리며 유휴 상태이고, 끝에는 마지막 마이크로 배치들이 빠져나가면서 앞 단계들이 유휴 상태가 됩니다. 그 유휴 구간이 파이프라인 버블이며, 이 계산기가 그것을 정량화합니다.

버블이 생기는 곳

여덟 개의 작업대를 가진 조립 라인을 떠올려 봅니다. 첫 품목은 작업대 1번부터 7번을 거쳐야 8번이 할 일이 생기는데, 그때까지 일곱 스텝 동안 라인이 온전히 가동되지 못합니다. 라인이 비어 갈 때도 같은 일이 거꾸로 일어납니다. 단계가 $p$개인 파이프라인에서 이 워밍업과 쿨다운은 뒤에 얼마나 많은 작업이 따르든 $p\,{-}\,1$ 스텝이 듭니다. 그 고정 비용이 중요한지는 그 뒤로 몇 개의 마이크로 배치가 흘러가느냐에 달려 있습니다.

계산식

파이프라인 단계 $p$개와 마이크로 배치 $m$개가 주어지면 표준 동기식 스케줄의 버블 비율 $B$와 그 보수인 효율 $E$는 다음과 같습니다.

분모는 전체 파이프라인 스텝 수, 곧 유용한 마이크로 배치 $m$개에 채우기와 비우기의 $p\,{-}\,1$ 스텝을 더한 값입니다. 모든 스텝은 유용한 작업이거나 버블이므로 두 비율은 항상 1로 합쳐집니다.

계산 예시

8단계 파이프라인에 배치당 32개의 마이크로 배치를 흘려보내는 경우를 살펴봅니다.

스케줄의 거의 18%가 버블로 사라지고 약 82%가 유용한 연산에 남습니다. 마이크로 배치 수를 64로 올리면 고정된 일곱 스텝의 채우기가 더 많은 작업에 퍼지므로 버블이 약 11%로 떨어집니다.

한계

이 공식은 표준 동기식 스케줄, 비용이 같은 단계, 무시할 만큼 작은 단계 간 통신을 가정합니다. 연속하지 않은 여러 단계 조각을 각 장치에 배정하는 인터리브드 스케줄은 버블을 이 값보다 줄이는 반면, 고르지 않은 단계 비용이나 무거운 단계 간 전송은 실제 효율을 더 나쁘게 만들 수 있습니다. 여기 쓰인 마이크로 배치 수는 전역 배치를 통해 옵티마이저 동작을 좌우하는 양과도 같은 것이므로 실효 배치 크기 계산를 참고하십시오. 또한 파이프라인 병렬화는 보통 데이터 병렬화와 함께 쓰이는데, 그 별개의 확장 손실은 데이터 병렬 확장 계산가 다룹니다.