最終更新: 2026-06-22

LLM推論のVRAM

大規模言語モデルを動かすことは、率直な問いから始まります。これはGPUに収まるのか、という問いです。その答えはモデルの重みに支配されますが、重みだけでは必要量を過小評価してしまいます。推論サーバーはKVキャッシュ、各レイヤーを流れる活性化、そして断片化で失われるいくらかのメモリも保持しなければならないからです。本ツールは、パラメータ数、重みを保存する精度、そして残りを1つの調整可能な数値にまとめる実行時オーバーヘッドの3つの入力から、合計VRAMを見積もります。

重みが下限を決める

モデルの重みは、メモリ上で最大の固定コストです。各パラメータは選択された精度で保存されます。フル16ビットの重みは1つあたり2バイト、8ビット量子化は1バイト、4ビットは半バイトを占めます。したがって、十億単位のパラメータ数 $N$ を $b$ ビットで保存すると、次のメモリを占めます。

10億個の16ビットパラメータはちょうど2 GBであり、これが7Bモデルが重みだけで14 GBを必要とする理由です。ビット数を8で割るとビットがバイトに変換され、パラメータが十億単位、メモリがギガバイト単位で数えられるため、単位はそのまま揃います。

実行時オーバーヘッドを加える

重みは下限にすぎません。推論時、サーバーは処理中のすべてのトークンについてアテンションのキーとバリューを保持するKVキャッシュを保ち、各リクエストがレイヤーを通過する際に活性化を確保し、断片化でいくらかのメモリを失います。合計は次のようになります。

ここで $o$ は重みサイズに対する割合で表したオーバーヘッドです。KVキャッシュは最も大きく変動が激しい要素であり、コンテキスト長と同時リクエスト数とともに増えるため、適切なオーバーヘッドはワークロードに大きく依存します。20パーセントは、短いプロンプトを控えめなバッチサイズで処理する場合の妥当な出発点です。長コンテキストで高スループットのサービングでは、これがはるかに高くなることがあります。

計算例

700億パラメータのモデルを16ビット精度、20パーセントのオーバーヘッドで動かす場合を考えます。

16.8 GBの合計は24 GBのカードには余裕で収まりますが、16 GBのカードでは余地がありません。同じモデルをより小さなGPUで動かすには、8ビットに下げると重みが7 GBに半減し、合計は8.4 GB付近まで下がります。モデルサイズと精度の関係は量子化によるモデルサイズの計算でさらに詳しく扱っています。

モデルを収めるには

メモリは重みあたりのビット数に直接比例するため、量子化が最も直接的なレバーです。16ビットから8ビットへで重みのメモリは半分になり、8ビットから4ビットへでさらに半分になります。通常、出力品質の低下はわずかで許容できる範囲です。量子化したモデルでも1つのアクセラレータを超える場合、選択肢は複数のGPUへ重みを分割するか、急激な速度低下を伴いながらモデルの一部をシステムメモリへオフロードすることです。モデルに必要なアクセラレータの数を見積もる方法はモデルに必要なGPU台数の計算で扱っています。ここでの数値は計画段階の見積もりとして扱い、実際のサービング実行で確認してください。フレームワーク、コンテキスト長、バッチサイズのいずれもが真の数値を動かすからです。