최종 업데이트: 2026-06-22

여러 차례 대화의 비용이 늘어나는 이유

언어 모델 API 호출은 상태를 유지하지 않는다. 모델은 호출 사이에 어떤 기억도 보존하지 않으므로, 모델이 일관성을 유지하려면 클라이언트가 매 요청마다 이전 대화를 문맥으로 다시 전송해야 한다. 다시 전송되는 이 이력은 매번 입력 토큰으로 과금된다. 대화가 길어질수록 각 차례의 입력이 앞선 모든 차례의 누적된 이력을 담으므로, 차례당 입력이 늘어나고 누적 입력은 차례 수보다 더 빠르게 늘어난다.

계산식

차례 수를 $N$, 매 차례 다시 전송되는 시스템 프롬프트를 $n_{sys}$, 차례마다 추가되는 새로운 이력(사용자 메시지와 직전 응답)을 $n_{turn}$, 차례당 출력을 $n_{out}$이라 한다. $k$번째 차례의 입력은 $n_{sys} + (k-1)\,n_{turn}$이다. 모든 차례에 대해 합하면 다음과 같다.

삼각수 항 $\tfrac{N(N-1)}{2}$은 $N$에 대해 이차이며, 이것이 긴 대화가 단일 차례에서 짐작되는 것보다 훨씬 비싼 이유다. 100만 토큰당 단가 $p_{in}$과 $p_{out}$에 대해 다음과 같다.

계산 예시

N = 10 차례, 800 토큰의 시스템 프롬프트, 차례당 새로운 600 토큰, 차례당 출력 400 토큰을, 입력 100만 토큰당 $3, 출력 100만 토큰당 $15로 처리하는 경우를 생각한다.

이 대화의 비용은 약 16.5센트다. 이력 항(27,000 토큰)은 반복되는 시스템 프롬프트 8000 토큰을 압도한다. 입력 청구액의 대부분은 고정된 지시가 아니라 늘어나는 기록을 다시 전송하는 데서 온다.

이차 효과

$T_{in}$이 $N^2$에 비례하므로, 차례 수를 두 배로 늘리면 입력 비용은 두 배가 아니라 대략 네 배가 된다. 위 예시의 20차례 버전은 $600 \cdot \tfrac{20 \cdot 19}{2} = 114{,}000$ 이력 토큰을 다시 전송하는데, 이는 열 차례의 27,000의 네 배가 넘는다. 이 누승은 전체 이력을 다시 전송하는 데서 비롯되는 성질이며, 토큰당 가격과는 무관하다.

완화

이 증가는 누적된 이력을 더 적은 횟수로 또는 더 낮은 단가로 지불함으로써 줄어든다. 오래된 차례를 요약하거나 잘라내면 다시 전송되는 이력의 양에 상한이 생기고, 프롬프트 캐시는 제공업체가 반복되는 문맥을 낮은 단가로 과금하게 한다. 문맥의 고정된 부분을 캐시하여 얻는 절감은 프롬프트 캐시 절감 계산기로 추정할 수 있다. 비용이 문제가 되기에 앞서 늘어나는 기록이 여전히 모델에 들어맞는지 확인하려면 컨텍스트 윈도 적합성 계산기를 참조한다.