최종 업데이트: 2026-06-22

추측 디코딩 속도 향상

추측 디코딩은 작고 저렴한 드래프트 모델이 여러 토큰을 미리 추측하게 하고, 큰 타깃 모델이 이를 한꺼번에 검증하게 함으로써 언어 모델의 생성 속도를 높인다. 추측이 맞으면 타깃은 단 한 번의 순방향 패스 비용으로 여러 토큰을 만들어 내고, 틀리면 일반 디코딩으로 되돌아간다. 이 계산기는 드래프트 토큰이 얼마나 자주 수락되는지, 사이클마다 몇 개가 제안되는지, 드래프트 모델이 타깃 대비 얼마나 비싼지라는 세 가지 수치로부터 그 결과인 속도 향상을 추정한다.

작동 방식

일반적인 디코더에서는 타깃 모델이 토큰마다 한 번씩 실행된다. 추측 디코딩은 대신 드래프트 모델에게 $\gamma$개의 토큰을 제안하도록 요청한 뒤, 타깃을 한 번 실행하여 이들을 병렬로 검사한다. 타깃은 제안된 각 토큰이 자신이 샘플링했을 결과와 일치하는 한 이를 수락하고, 첫 불일치에서 멈춘 뒤 그 위치를 자신의 분포에서 다시 샘플링한다. 거부된 토큰이 타깃에서 보정되므로 출력은 통계적으로 일반 디코딩과 동일하다. 이 방법은 모델이 말하는 내용을 바꾸지 않으면서 추가적인 드래프트 연산을 비싼 타깃 패스 횟수의 감소와 맞바꾼다.

공식

각 토큰이 확률 $\alpha$로 독립적으로 수락된다면, 타깃 패스 한 번당 생성되는 예상 토큰 수는 다음과 같다.

드래프트 모델이 무료라면 이것이 곧 속도 향상이 될 것이다. 각 드래프트 패스에 타깃 패스의 비율 $c$를 부과하면, 일반 디코딩 대비 실제 처리 시간 기준 속도 향상은 다음과 같이 된다.

분자는 수락과 더 긴 제안에 보상을 주고, 분모는 그 제안이 치르는 드래프트 작업에 벌점을 매긴다.

계산 예시

드래프트 모델이 70%의 비율로 수락되고, 사이클당 5개의 토큰을 제안하며, 각 드래프트 패스가 타깃 패스의 15% 비용이 든다고 하자.

타깃 패스 한 번마다 평균 거의 세 개의 토큰을 얻지만, 다섯 번의 드래프트 패스 비용을 치르고 나면 실현된 속도 향상은 약 1.7배다. 수락률을 90%로 높이면 2배를 훨씬 넘어서고, 더 무거운 드래프트 모델 — 가령 타깃 비용의 40% — 은 그 이득을 상당 부분 되돌려 놓는다.

구성 선택

두 가지 지렛대가 지배적이다. 수락률은 드래프트 모델이 타깃과 긴밀히 정합될 때 상승하므로, 드래프트는 보통 같은 계열의 더 작은 모델이거나 타깃을 증류한 모델이다. 드래프트 길이에는 최적점이 있다. 수락이 누적되므로 전체 실행이 살아남을 확률은 기하급수적으로 떨어지고, 따라서 몇 개의 토큰을 넘어서면 추가 드래프트 비용이 드물게 일어나는 긴 수락의 이득을 능가한다. 여기서 드래프트 토큰 수를 변화시켜 보면 주어진 수락률에서 속도 향상이 정점에 이르는 지점을 알 수 있다. 향상된 토큰당 속도가 종단 간 응답 시간에 어떻게 반영되는지 보려면 추론 지연 시간 계산기를 참고하면 된다.