최종 업데이트: 2026-06-22

LLM 속도 제한 계획이란

LLM 속도 제한 계획은 주어진 작업에 대해 제공업체의 API 한도가 허용하는 지속 가능한 요청 속도와 그것이 함의하는 진행 중 동시성을 결정하는 과정이다. 호스팅 추론 API는 처리량을 두 개의 독립적인 축으로 제한한다. 하나는 분당 토큰(TPM)으로 계정이 분당 처리할 수 있는 입력과 출력을 합한 토큰 수이며, 다른 하나는 분당 요청(RPM)으로 크기와 무관하게 분당 허용되는 API 호출 수다. 먼저 도달하는 한도가 상한을 정한다.

어느 한도가 제약하는가

호출당 평균 토큰 비용을 가진 작업은 TPM 한도를 동등한 요청 한도로 환산한다. 분당 토큰 예산을 요청당 소비 토큰으로 나누면 토큰 한도만으로 허용되는 분당 요청 수가 나온다.

여기서 $L_t$는 TPM 한도이고 $n$은 요청당 토큰이다. 지속 가능한 속도는 이 토큰에서 도출된 한도와 명시적 RPM 한도 $L_r$ 중 더 작은 값이다.

$R_t < L_r$이면 토큰 한도가 제약하고, $R_t \ge L_r$이면 요청 한도가 제약한다. 토큰 비중이 큰 작업(긴 문맥, 큰 응답)은 토큰에 묶이는 경향이 있고, 빈도가 높은 작은 호출은 요청에 묶이는 경향이 있다.

리틀의 법칙에서 도출하는 동시성

초당 지속 가능한 속도는 $R_s = R / 60$이다. 시스템 내 평균 항목 수가 도착률과 각 항목이 시스템에 머무는 평균 시간의 곱과 같다는 큐잉 결과인 리틀의 법칙은, 그 속도와 평균 요청 지연 시간 $t_L$을 파이프를 가득 채우기 위해 병렬로 실행되어야 하는 동시성 $C$로 변환한다.

계산 예시

TPM 한도가 $L_t = 2{,}000{,}000$, RPM 한도가 $L_r = 10{,}000$, 요청당 평균 토큰이 n = 2{,}000인 경우를 생각한다. 토큰에서 도출된 한도는 다음과 같다.

1{,}000 < 10{,}000이므로 토큰 한도가 제약한다. 처리량은 대표 수치인 10,000이 아니라 분당 1,000건의 요청으로 묶인다. 평균 지연 시간이 $t_L = 20$초일 때 초당 속도는 $R_s = 1{,}000 / 60 \approx 16.7$이므로, 필요한 동시성은 다음과 같다.

따라서 이 속도를 유지하려면 약 333건의 요청을 동시에 진행 상태로 유지해야 한다. 작업이 토큰에 묶여 있으므로 RPM 한도를 높여도 도움이 되지 않으며, 프롬프트를 줄이거나 응답을 축소하거나 프롬프트 캐시 절감 계산기를 통해 요청당 토큰을 줄이거나, 더 높은 TPM 할당을 요청하는 것이 효과가 있다.

변동 요인과 활용

요청에 묶인 경우에는 대신 호출당 여러 항목을 묶는 것이 실효 처리량을 높이며, 토큰을 줄이는 것은 도움이 되지 않는다. 지연 시간은 리틀의 법칙을 통해서만 들어온다. $t_L$이 두 배가 되면 고정된 속도가 요구하는 동시성도 두 배가 되므로, 빠른 모델은 연결 풀과 큐 규모 산정을 완화한다. 동시성 수치는 워커 수와 세마포어 한도, 연결 풀 같은 클라이언트 구성에 반영되고, 지속 가능한 속도는 LLM 월간 비용 계산기를 통해 비용 추정에 반영된다. 토큰 수는 요청마다 변하고 제공업체가 큐잉하거나 버스트할 수 있으므로, 정상 상태 수치는 실제 트래픽과 대조해 검증할 계획용 기준선이다.