最終更新: 2026-06-22

投機的デコーディングの高速化

投機的デコーディングは、小さく安価なドラフトモデルに数トークン先まで推測させ、それを大きなターゲットモデルが一度にまとめて検証することで、言語モデルの生成を高速化する。推測が当たれば、ターゲットは1回の順伝播の費用で複数のトークンを生成し、外れれば通常の復号に戻る。この計算は、ドラフトトークンがどれだけの頻度で受理されるか、1サイクルあたり何個提案されるか、ドラフトモデルがターゲットに対してどれだけ高コストか、という3つの数値から得られる高速化を見積もる。

仕組み

通常の復号器ではターゲットモデルが1トークンにつき1回実行される。投機的デコーディングは代わりにドラフトモデルに $\gamma$ 個のトークンを提案させ、それからターゲットを1回実行してそれらを並列に検証する。ターゲットは、提案された各トークンがターゲット自身のサンプリングしたであろうものと一致する限り受理し、最初の不一致で止め、その位置を自らの分布から再サンプリングする。却下されたトークンはターゲットから修正されるため、出力は通常の復号と統計的に同一である。この手法は、モデルの発言を変えることなく、追加のドラフト計算と引き換えに高コストなターゲットの順伝播を減らす。

計算式

各トークンが独立に確率 $\alpha$ で受理されるとき、ターゲットの1回の順伝播あたりに生成される期待トークン数は次のとおりである。

これはドラフトモデルが無償であれば高速化率となる。各ドラフトの順伝播にターゲットの順伝播の $c$ 分の割合のコストを課すと、通常の復号に対する実時間の高速化率は次のようになる。

分子は受理と長い提案を評価し、分母はそれらの提案が要するドラフトの作業を罰する。

計算例

ドラフトモデルが70%の確率で受理され、1サイクルあたり5トークンを提案し、各ドラフトの順伝播がターゲットの順伝播の15%のコストである場合を考える。

ターゲットの1回の順伝播あたり平均で3トークン近くが得られるが、5回のドラフトの順伝播の費用を払った後に実現する高速化はおよそ1.7倍である。受理率を90%に上げれば2倍を大きく超え、より重いドラフトモデル、例えばターゲットの40%のコストであれば、その利益の多くを取り戻されてしまう。

構成の選び方

支配的な要素は2つある。受理率はドラフトモデルがターゲットと密接に整合するときに上がるため、ドラフトには通常、同じ系列のより小さいモデルやターゲットの蒸留が用いられる。ドラフト長には最適点がある。受理が累積するため、1サイクル全体が生き残る確率は等比的に下がり、数個を超えると追加のドラフトコストがまれに起こる長い受理を上回る。ここでドラフトトークン数を変えて掃引すると、ある受理率に対して高速化がどこで最大になるかが分かる。向上したトークンあたりの速度が応答完了までの時間にどう反映されるかは推論レイテンシの計算を参照されたい。