최종 업데이트: 2026-06-22

함수 호출 토큰 오버헤드

함수 호출 토큰 오버헤드는 대규모 언어 모델에 도구를 사용할 수 있게 만드는 데 드는 입력 측 비용입니다. 모델이 도구를 호출할지, 어떻게 호출할지 판단하게 하려면 제공자는 각 도구의 정의 — 이름, 자연어 설명, 매개변수에 대한 JSON 스키마 — 를 모델이 읽는 프롬프트에 직렬화해 넣습니다. 이 정의는 토큰으로 이루어져 있고, 도구가 실제로 사용되는지와 관계없이 모든 요청에 전송됩니다. 이 계산기는 호출마다 고정으로 드는 이 오버헤드와 호출량 전반에 걸쳐 누적되는 반복 비용을 따로 떼어 보여 줍니다.

도구가 모든 호출에 청구되는 이유

모델은 요청 사이에 상태를 유지하지 않습니다. 한 호출의 내용을 다음 호출에서 기억하지 못하므로, 사용할 수 있는 도구는 매번 새로 설명되어야 합니다. 도구를 한 번 등록해 두었다가 나중에 저렴하게 참조하는 방법은 없으며, 전체 정의가 모든 호출의 입력에 실려 옵니다. 모델이 어떤 도구도 호출하지 않고 곧바로 답하는 요청이라도, 선택지를 제공하기 위해 정의가 전달되었으므로 그 비용을 지불합니다. 따라서 비용은 노출한 도구의 수와 스키마의 장황함에, 모델을 호출하는 빈도를 곱한 만큼 늘어납니다.

공식

도구 $m$개가 각각 $t_{tool}$ 토큰이고 도구 블록을 감싸는 래퍼 토큰이 $t_w$일 때, 호출당 오버헤드는 다음과 같습니다.

$n$회 호출 전반에서 총 오버헤드와, 백만 토큰당 입력 단가 $p$로 환산한 비용은 다음과 같습니다.

$10^6$으로 나누는 것은 100만 개당 단가를 토큰당 요율로 환산하기 위함입니다. 도구 정의는 모델이 읽으므로 입력 요율로 청구되며, 이는 보통 공개된 두 단가 중 낮은 쪽입니다.

계산 예시

도구 14개를 노출하고 그 정의가 평균 120 토큰이며, 블록을 감싸는 래퍼 토큰이 18개인 에이전트를 가정해 보겠습니다. 호출당 오버헤드는 다음과 같습니다.

100만 토큰당 입력 단가 $3로 25,000회 호출에 걸쳐 실행하면 오버헤드 비용은 다음과 같습니다.

이 $127.35는 사용자 메시지나 모델 답변이 한 토큰도 계산되기 전에 쓰이는 비용으로, 오직 매 요청에서 도구를 설명하는 데에만 들어갑니다. 에이전트가 14개 전부 대신 각 작업에 관련된 소수의 도구만 노출하도록 라우팅하면 이 수치는 몇 배로 줄어듭니다.

참고와 변형

도구당 토큰 수는 각 도구를 얼마나 상세히 설명하는지에 크게 좌우됩니다. 자세한 매개변수 설명과 다수의 선택적 필드는 스키마를 부풀리고, 간결한 정의는 작게 유지됩니다. 여기서 측정하는 오버헤드는 순전히 도구 블록만을 가리키며, 대화 토큰과 모델이 내보내는 도구 호출 인자는 별개입니다. 도구 블록이 호출 전반에 걸쳐 안정적일 때는 프롬프트 캐싱으로 반복 비용을 줄일 수 있는데, 캐시된 읽기는 낮은 요율로 청구되기 때문입니다.

활용

함수 호출 오버헤드는 청구의 입력 측에 자리합니다. 그 출력 측 대응물 — 모델이 스키마에 맞춰 답할 때 되돌려 쓰는 JSON 골격 — 은 구조화된 출력 오버헤드 계산기에서 다룹니다. 이 오버헤드가 도출되는 바탕인 호출당 토큰 사용량의 단가를 매기려면 토큰 비용 계산기를 참고하시기 바랍니다.