최종 업데이트: 2026-06-22

프롬프트 캐시 절감이란

프롬프트 캐시 절감은 프롬프트의 일부를 캐시에서 제공함으로써 발생하는 언어 모델 호출의 입력 비용 감소다. 시스템 프롬프트나 도구 정의, 공유 문맥과 같은 안정적인 접두부가 여러 호출에 걸쳐 반복되면, 제공업체는 그 처리된 형태를 저장해 두고 이후 해당 토큰을 읽을 때 낮은 단가로 과금한다. 절감액은 캐시가 없는 입력 비용과 캐시된 부분이 할인된 뒤의 입력 비용 사이의 차이다.

작동 방식

총 입력 토큰을 $n$, 캐시에서 제공되는 비율을 $f$, 100만 토큰당 표준 입력 가격을 $p$, 캐시 읽기에서 단가에서 깎이는 비율인 캐시 할인을 $d$라 한다. 캐시가 없는 기준선은 모든 토큰을 전체 단가로 과금한다.

캐시를 적용하면, 캐시되지 않은 부분 n(1-f)는 전체 단가로, 캐시된 부분 $nf$는 할인된 단가 p(1-d)로 과금된다.

절감액은 그 차이이며, 절감률은 그 차이를 기준선으로 나눈 값이다.

계산 예시

입력 토큰 10,000개 중 70%가 캐시되고, 100만 토큰당 표준 입력 가격이 $3, 캐시 할인이 90%인 호출을 생각한다. 캐시가 없는 기준선은 다음과 같다.

캐시되지 않은 3,000 토큰의 비용은 0.003 \cdot 3 = \0.009$이다. 캐시된 7,000 토큰은 단가의 10$0.007 \cdot 3 \cdot 0.1 = $0.0021$이므로, 캐시된 비용은$$0.009 + $0.0021 = $0.0111$이다. 절감액은 다음과 같다.

입력 비용에서 $0.0189 / 0.03 = 63\%$의 감소다. 호출당 수치는 작지만 호출량에 따라 규모가 커진다. 그러한 호출 100만 건의 작업은 $18,900 정도를 절감한다.

변동 요인

절감액은 캐시 비율과 할인 모두에 따라 커진다. 더 큰 안정적 접두부가 이끄는 높은 비율 $f$는 더 많은 토큰을 할인된 단가로 옮기며, 더 큰 할인 $d$는 두 단가 사이의 격차를 넓힌다. f = 1이고 d = 0.9이면 입력 비용은 전체 90%만큼 줄어든다. 프롬프트의 반복이 적거나 반복이 캐시 유효 기간을 벗어나면 $f$가 작아 감소 폭은 미미하다. 캐시는 입력 토큰에만 적용되며, 출력 토큰은 그와 무관하게 표준 단가로 과금된다.

활용

프롬프트 캐시는 매 차례 크고 고정된 문맥을 다시 보내는 에이전트와 대화 시스템에서 가장 효과적이며, 이때 반복되는 접두부가 입력을 지배한다. 캐시된 비용은 토큰 비용 계산기와 LLM 월간 비용 계산기의 호출당 및 월간 추정에 반영된다. 캐시와 일괄 처리는 같은 작업에 적용될 수 있는 독립적인 할인이다. 비동기 대안에 대해서는 배치 API 절감 계산기를, 바탕이 되는 가격을 구매력으로 읽으려면 달러당 토큰 계산기를 참조한다.