최종 업데이트: 2026-06-22

구조화된 출력 오버헤드

구조화된 출력 오버헤드는 LLM 응답에서 내용이 아니라 형식이 차지하는 몫입니다. 모델이 스키마를 따르는 JSON을 반환하도록 요청받으면, 실제 값에 더해 모든 키 이름과 따옴표, 콜론, 쉼표, 중괄호를 함께 내보내야 합니다. 이러한 구조적 토큰은 다른 출력 토큰과 똑같이 생성되고 청구되므로, 짧은 값 몇 개를 담은 응답이 토큰의 큰 비율을 골격에 쓸 수 있습니다. 이 계산기는 그 고정 오버헤드와, 호출량에 걸쳐 발생하는 반복 비용을 분리해서 보여 줍니다.

오버헤드의 출처

반환되는 객체의 각 필드는 따옴표로 감싼 키, 키와 값을 나누는 콜론, 다음 필드 앞의 쉼표를 더합니다. shipping_status라는 필드는 값이 쓰이기도 전에 여러 조각으로 토큰화됩니다. 필드당 비용 외에도 모든 응답은 고정된 틀, 즉 객체의 여는 중괄호와 닫는 중괄호 및 제공업체가 주입하는 스키마 골격을 지니며, 뒤따르는 필드가 몇 개든 응답당 한 번만 집계됩니다. 이 틀과 필드당 구조는 값에 의존하지 않으므로, 오버헤드는 주어진 스키마에 대해 일정하고 호출 횟수에 따라 선형으로 늘어납니다.

공식

골격이 각 $t_f$ 토큰인 $f$개의 필드와 $t_w$개의 래퍼 토큰이 있을 때, 호출당 오버헤드는 다음과 같습니다.

$n$회 호출에 걸친 총 구조적 토큰 수와, 백만 토큰당 출력 단가 $p$에서의 비용은 다음과 같습니다.

$10^6$으로 나누는 것은 100만당 제시된 단가를 토큰당 요율로 변환합니다. 구조화된 출력은 모델이 생성하므로 오버헤드는 출력 단가로 청구되며, 이는 보통 공개된 두 단가 중 더 높은 쪽입니다.

계산 예시

필드 12개짜리 레코드를 반환하는 추출 작업을 생각해 봅니다. 각 필드의 골격이 약 9 토큰이고 객체 틀이 래퍼 토큰 5개를 더한다고 하면, 호출당 오버헤드는 다음과 같습니다.

100만 토큰당 출력 단가 $15에서 40,000회 호출에 걸쳐 실행하면 구조적 비용은 다음과 같습니다.

이 $67.80은 어떤 정보도 사지 않습니다. 추출된 값을 감싸는 중괄호와 키, 쉼표에만 지불됩니다. 이 정도 규모라면 키 이름을 줄이거나 쓰이지 않는 필드를 빼는 것이 곧바로 반복 절감으로 이어집니다.

참고 사항과 변형

필드당 수치는 평균입니다. 길고 설명적인 키 이름은 짧은 이름보다 비용이 더 들고, 중첩된 객체는 자체의 중간 중괄호와 키를 더합니다. 모델은 값 자체도 내보내지만 이 계산기는 그 부분을 제외하며, 스키마가 부과하는 구조적 하한만 측정합니다. 같은 작업을 더 간결한 표현으로 처리할 수 있다면 그 하한도 그만큼 낮아집니다.

활용

구조화된 출력 오버헤드는 청구서의 출력 측에 발생합니다. 이에 대응하는 입력 측, 즉 함수 호출 요청마다 함께 보내는 도구 정의는 함수 호출 토큰 오버헤드 계산기가 다룹니다. 이러한 오버헤드가 도출되는 기반인 호출당 토큰 사용량의 단가를 매기려면 토큰 비용 계산기를 참고하시기 바랍니다.