最終更新: 2026-06-22

LLMトレーニングのVRAM

大規模言語モデルをフルファインチューニングするには、単に実行する場合よりもはるかに多くのGPUメモリが必要で、その理由はオプティマイザにあります。推論は重みだけを保持しますが、トレーニングでは全パラメータの勾配とオプティマイザの内部状態も保持し、さらにフォワードパス中に格納されるアクティベーションを加える必要があります。この計算ツールは、パラメータ数・パラメータあたりのオプティマイザのメモリコスト・別途入力したアクティベーション量から、フルファインチューニングの合計VRAMを推定します。

モデルステートが支配的

トレーニングで最大の固定コストはモデルステート、すなわち重み・その勾配・オプティマイザステートです。十億単位のパラメータ数を $N$、パラメータあたりのバイト数を $B$ とすると、モデルステートは次のメモリを占めます。

Adamを使う混合精度トレーニングの標準的な数値は1パラメータあたり16バイトで、内訳は次のとおりです。フォワードパスで使う16ビットの重みに2バイト、その16ビットの勾配に2バイト、数値的安定性のために保持する重みの32ビットのマスターコピーに4バイト、そしてAdamの2つのモーメント推定値（モメンタムと分散）にそれぞれ4バイトです。すなわち各パラメータについて $2 + 2 + 4 + 4 + 4 = 16\ \text{バイト}$ になります。より安価なオプティマイザはオプティマイザステートの項を縮小します。8ビットAdamはモーメントを低精度で格納して約12バイト、モメンタム付きのプレーンなSGDは約8バイトです。

アクティベーションは別途入力する

モデルとオプティマイザが決まればモデルステートは固定ですが、アクティベーションはそうではありません。アクティベーションは、バックワードパスで勾配を計算できるようにフォワードパス中にキャッシュされる中間値であり、そのサイズはパラメータ数ではなくバッチサイズとシーケンス長に応じて増えます。この独立性のため、この計算ツールはアクティベーションメモリを独自の入力として受け取り、単純に加算します。

ここで $A$ はアクティベーションメモリ（GB）です。アクティベーションメモリは、1回のトレーニングステップを実行してピーク使用量を読み取れば測定できます。また、アクティベーションを保持する代わりにバックワードパスで再計算するアクティベーションチェックポイントを使えば大幅に削減できます。

計算例

混合精度Adamでファインチューニングする70億パラメータのモデルを、まずはアクティベーションの見積もりなしで考えます。

モデルステートだけで112 GBとなり、すでに1枚の80 GBアクセラレータを超えています。現実的な20 GBのアクティベーションを加えると合計は132 GBになり、要点が明確になります。16ビット推論なら難なくサービングできる7Bモデルでさえ、1枚の主流GPUではフルファインチューニングできないのです。モデルを単に実行するために必要なはるかに小さいメモリについては、LLM推論のVRAM計算で扱っています。

LoRAが状況を変える理由

16バイトの大部分は勾配とオプティマイザステートであり、それらは学習対象のパラメータにしか存在しません。LoRAはベースの重みを凍結し、小さな低ランクアダプタだけを学習するため、勾配とオプティマイザステートは全パラメータの1パーセント未満しかカバーしません。凍結された重みは依然としてメモリを取りますが、最大の項を取り除くことで、フルファインチューニングに132 GBを要するモデルを1枚の24 GBカードに収められるようになります。これらのアダプタのサイズと、ランクがそれをどう制御するかについては、LoRA の学習パラメータ数を計算で扱っています。一時バッファやフレームワークのアロケーションが実際の数値を動かすため、ここで示す値は計画用の見積もりとして扱い、実際のトレーニングステップで確認してください。