최종 업데이트: 2026-06-22

컨텍스트 윈도란

컨텍스트 윈도는 언어 모델이 한 번의 호출에서 처리할 수 있는 최대 토큰 수로, 모델이 읽는 입력과 생성하는 출력을 모두 센다. 요청은 입력과 응답을 위해 예약된 토큰의 합이 이 한도 안에 머무를 때 들어맞는다. 윈도는 주어진 모델에 대해 고정되어 있으므로, 호출을 계획하는 일은 그 한도에 맞추어 구성 요소를 배분하는 것이다.

예산 배분

한 호출의 입력은 시스템 프롬프트와 다시 전송되는 이전 대화 이력, 현재 사용자 메시지의 합이다. 응답을 위한 공간을 예약하면 윈도가 담아야 하는 총량이 나온다.

여기서 $W$는 컨텍스트 윈도이고 $n_{out}$은 예약된 출력이다. 사용률은 요청이 소비하는 윈도의 비율이다.

$n_{rem}$이 음수이면 요청이 윈도를 초과하여 구성된 그대로는 실행할 수 없다.

계산 예시

800 토큰의 시스템 프롬프트와 6000 토큰의 이력, 1200 토큰의 사용자 메시지로 이루어지고 응답에 2000 토큰을 예약하는 요청을, 128,000 토큰의 윈도에 대해 생각한다.

이 요청은 10,000 토큰이 필요하고 118,000을 남기며, 윈도의 약 7.8%를 사용한다. 여유가 넉넉하다. 윈도가 제약 조건이 되기 전에 이력이 여러 배로 늘어날 수 있다.

초과 시 동작

총량이 윈도를 넘으면, 제공업체는 호출자가 통제하는 방식으로 조용히 잘라내지 않는다. 호출이 거부되거나 가장 오래된 문맥이 버려지며, 어느 쪽이든 결과를 저하시킨다. 예약된 출력은 특히 주의가 필요하다. 입력이 윈도를 거의 채우면 모델이 응답할 공간이 거의 남지 않아 응답이 생성 도중에 잘릴 수 있다. 출력을 명시적으로 예약하면 들어맞는 입력이 잘린 답을 내놓는 일을 막는다.

활용

윈도는 엄격한 한도로, 사용된 토큰에 따라 규모가 커지는 비용과는 구별된다. 이력은 대개 가장 크고 가장 압축하기 쉬운 구성 요소이므로, 긴 대화를 맞추는 일은 보통 이력을 요약하거나 줄이고, 시스템 프롬프트를 단축하고, 예약된 출력을 낮추거나, 더 큰 윈도를 가진 모델로 옮기는 것을 뜻한다. 단어 수 목표로부터 입력 규모를 산정하려면 토큰-단어 변환 계산기로 환산하고, 다시 전송되는 이력이 여러 차례에 걸쳐 윈도와 청구액을 어떻게 함께 끌어올리는지 보려면 컨텍스트 비용 증가 계산기를 참조한다.