최종 업데이트: 2026-06-22

배치 추론 처리량

배치 추론은 프로덕션 언어 모델 서버가 높은 활용도에 이르는 방법이다. 요청을 한 번에 하나씩 디코딩하는 대신 여러 개를 함께 처리한다. 모델 가중치를 한 번 읽어 그룹 전체에 재사용하므로 서버의 총 출력은 배치 크기에 따라 가파르게 올라가지만, 개별 요청은 배치가 끝날 때까지 기다린다. 이 계산기는 그 두 관점을 분리하여, 측정한 배치 완료 시간을 집계 처리량, 요청당 속도, 요청률로 변환한다.

배칭의 절충

자기회귀 디코딩은 메모리 제한이다. 각 단계는 토큰 하나를 만들기 위해 모든 가중치를 읽는다. 단일 요청이 진행 중일 때는 그 메모리 트래픽의 거의 전부가 한 사용자만을 위한 것이다. 여러 요청을 하나의 배치로 묶으면 같은 가중치 읽기가 모든 요청에 대해 동시에 토큰을 만들어 내므로, 대역폭 비용은 거의 그대로인 채 집계 토큰 속도가 배치 크기에 따라 올라간다. 단점은 지연 시간이다. 요청은 자신이 포함된 배치 단계가 끝나기 전에는 떠날 수 없으므로 요청당 속도는 나아지지 않으며, 배치가 커지면 약간 떨어질 수도 있다.

공식

배치 크기 $B$, 요청당 출력 토큰 수 $N_{out}$, 측정한 배치 완료 시간 $t_b$로부터 다음을 구한다.

여기서 $v_{agg}$는 집계 처리량, $v_{req}$는 요청당 처리량, $R$은 초당 완료되는 요청 수이다. 집계는 단순히 요청당 속도에 배치 크기를 곱한 값이다.

계산 예시

서버가 각각 256개 토큰을 생성하는 32개 요청 배치를 디코딩하고, 그 배치가 5초 만에 끝난다고 하자.

운영자는 서버에서 초당 1,600개가 넘는 토큰이 흘러나오는 것을 보지만, 각 사용자는 초당 약 51개 토큰으로 읽는다. 메모리가 허용하고 완료 시간이 5초 근처에 머문다면, 배치를 64로 두 배로 늘리면 집계는 대략 두 배가 되고 요청당 수치는 그대로 유지된다.

배치 크기 선택

집계 처리량은 작업이 메모리 제한 상태인 동안에만 배치 크기에 따라 계속 올라간다. 일단 배치가 연산을 포화시키거나 키-값 캐시가 장치 메모리를 소진하면, 완료 시간이 배치보다 빠르게 늘어나 요청당 지연 시간이 나빠진다. 실용적인 목표는 메모리가 아직 들어가는 한도 안에서 요청당 지연 시간을 허용 가능한 수준으로 유지하는 가장 큰 배치이며, 여러 배치 크기에서 완료 시간을 측정하여 찾는다. 실제 서버는 또한 연속 배칭을 사용하는데, 고정된 그룹이 아니라 매 단계마다 요청이 합류하고 떠나는 방식으로 지속 처리량을 더욱 높인다. $v_{req}$를 결정하는 단일 스트림 상한에 대해서는 추론 처리량 계산기를 참고하고, 여러 복제본에 걸친 플릿 단위 용량에 대해서는 유효 초당 토큰 수 계산기를 참고하면 된다.