최종 업데이트: 2026-06-22

시스템 프롬프트 분할 상환

시스템 프롬프트 분할 상환은 고정된 프롬프트 접두부의 비용을 매 요청마다 전액 지불하는 대신 여러 요청에 걸쳐 분산시키는 방식입니다. 시스템 프롬프트는 사용자 메시지에 앞서는 지시문, 페르소나, 안정적인 맥락으로서, 모델이 요청 간에 아무것도 기억하지 않기 때문에 매 요청마다 다시 전송됩니다. 별도의 조치가 없으면 천 번의 요청은 그 접두부 비용을 천 번 지불합니다. 프롬프트 캐싱은 접두부를 한 번 저장한 뒤 이후 요청에는 할인된 사본을 제공하므로, 고정 비용이 요청량에 걸쳐 분할 상환됩니다. 이 계산기는 비캐싱 총액과 캐싱 총액을 대조하여 절약액을 보고합니다.

프롬프트가 반복되는 이유

모델은 상태를 유지하지 않습니다. 각 요청은 독립적이며, 모델이 알아야 하는 모든 것은 그 요청의 입력 안에 존재해야 합니다. 따라서 긴 시스템 프롬프트는 일회성 설정 비용이 아니라 요청마다 입력 토큰 단가로 청구되는 요청당 세금에 가깝습니다. 프롬프트가 길고 자주 전송될수록 청구서에서 차지하는 비중이 커지며, 바로 이 조건이 캐싱의 효과가 가장 큰 상황입니다.

캐싱이 셈법을 바꾸는 방식

첫 요청에서 제공업체는 접두부를 캐시에 기록하며 대략 통상적인 입력 단가로 과금합니다. 동일한 접두부를 재사용하는 이후의 모든 요청은 큰 폭의 할인으로 이를 다시 읽으며, 흔히 표준 단가의 10분의 1 수준입니다. 따라서 반복되는 접두부는 첫 요청을 제외한 모든 요청에서 캐싱 단가로 과금됩니다.

공식

$t_{sys}$개의 토큰으로 이루어진 시스템 프롬프트를 백만 개당 입력 단가 $p$로 보낼 때, 한 번 전송하는 비캐싱 비용과 $n$회 요청에 걸친 비캐싱 총액은 다음과 같습니다.

캐시 읽기 할인율을 $d$라 하면, 각 캐시 읽기의 비용은 $C_{call}(1 - d)$이고, 캐싱 총액은 첫 요청에서 전체 접두부 비용을 한 번 지불하고 매 요청마다 할인된 읽기 비용을 더합니다.

계산 예시

2,400개 토큰의 시스템 프롬프트를 100만 개당 입력 단가 $3로, 90%의 캐시 읽기 할인율을 적용하여 6,000회 요청에 걸쳐 보낸다고 하겠습니다. 요청당 비캐싱 비용은 다음과 같습니다.

따라서 비캐싱 총액은 다음과 같습니다.

캐시 읽기 한 번의 비용은 0.0072 \times (1 - 0.90) = \0.00072$이며, 캐싱 총액은 다음과 같습니다.

절약액은 43.20 - 4.33 = \38.87$로, 청구서에서 시스템 프롬프트가 차지하는 부분이 약 90% 줄어듭니다. 할인은 고정 접두부에만 적용되며, 각 요청의 가변 사용자 메시지는 어느 경우든 통상 단가로 과금됩니다.

참고 사항과 변형

이 모델은 접두부가 안정적이며 캐시가 활성 상태인 동안 재사용된다고 가정합니다. 캐시는 일정 기간 사용이 없으면 만료되므로, 간격이 넓게 벌어진 요청들은 쓰기 비용을 다시 지불할 수 있으며, 캐싱 가능한 최소 길이와 정확한 쓰기 단가는 제공업체마다 다릅니다. 짧은 프롬프트나 적은 요청 횟수는 분할 상환할 여지가 거의 없습니다. 절약은 길고 안정적인 프롬프트를 짧은 기간에 자주 호출할 때 가장 큽니다.

활용

이 계산기는 시스템 프롬프트 접두부에 초점을 둡니다. 단일 요청 내에서 캐싱된 입력 토큰과 비캐싱 입력 토큰이 임의로 섞인 경우의 캐싱을 모델링하려면 프롬프트 캐시 절감 계산기를를 참고하시기 바랍니다. 이 수치의 바탕이 되는 요청당 토큰 사용량의 단가를 산정하려면 토큰 비용 계산기를를 참고하시기 바랍니다.