최종 업데이트: 2026-06-22

배치 API 절감이란

배치 API 절감은 언어 모델 작업을 실시간 엔드포인트 대신 제공업체의 비동기 배치 엔드포인트로 제출함으로써 얻는 비용 감소다. 배치 API는 요청 묶음을 받아 명시된 완료 기간 안에 처리하며 실시간으로 반환하지 않는다. 제공업체가 자체 용량 전반에 작업을 유연하게 배치할 수 있으므로 그 처리량을 일률적인 할인으로 과금한다. 절감액은 실시간 비용과 할인된 배치 비용 사이의 차이다.

작동 방식

실시간 비용은 입력과 출력 토큰을 각각의 100만 토큰당 단가로 합한다. 입력 토큰 수를 $n_{\text{in}}$, 출력 토큰 수를 $n_{\text{out}}$이라 하고, 100만 토큰당 단가를 각각 $p_{\text{in}}$과 $p_{\text{out}}$이라 하면 다음과 같다.

배치 할인 $d$는 그 전체 비용에서 일률적으로 제거되는 비율로, 입력과 출력을 모두 포함한다.

할인이 일률적이므로 절감액은 작업 규모와 할인율에 정비례한다.

계산 예시

입력 토큰 1,000,000개와 출력 토큰 200,000개의 작업을, 입력 100만 토큰당 $3, 출력 100만 토큰당 $15, 50%의 배치 할인으로 처리하는 경우를 생각한다. 실시간 비용은 다음과 같다.

배치 비용은 그 절반이다.

따라서 절감액은 \6 - $3 = $3으로 50%의 감소다. 여기서 입력과 출력의 기여는 각각 \3으로 같은데, 더 높은 출력 단가가 더 적은 출력 분량을 상쇄하기 때문이다.

변동 요인

할인이 균일하게 적용되므로 금액 절감은 청구액에 비례해 커진다. 열 배 큰 작업은 같은 할인에서 열 배를 절감한다. 출력이 입력보다 높게 과금되므로, 같은 토큰 수라면 응답 비중이 큰 배치가 더 큰 절대 절감을 갖는다. 핵심 제약은 지연 시간이다. 배치 처리는 비동기적이어서 결과가 동기식이 아니라 제공업체의 완료 기간 안에 도착하므로, 빠른 응답이 필요 없는 작업에 적합하다. 대량 분류와 요약, 평가 실행, 오프라인 콘텐츠 생성 등이 그 예다. 대화형이거나 사용자 대면 요청에는 적합하지 않다.

활용

배치 절감은 작업의 토큰 분량이 정해진 뒤에 적용하는 오프라인 처리량 지렛대다. 실시간 비용과 배치 비용은 모두 토큰 비용 계산기와 LLM 월간 비용 계산기의 더 넓은 추정에 반영된다. 배치와 캐시는 같은 작업에 겹쳐 적용할 수 있는 독립적인 할인이다. 반복되는 접두부에서 오는 입력 할인에 대해서는 프롬프트 캐시 절감 계산기를, 100만 토큰당 단가를 지출 단위당 토큰으로 읽으려면 달러당 토큰 계산기를 참조한다.