最終更新: 2026-06-22

LoRA の学習パラメータ数

Low-Rank Adaptation(LoRA)は、大規模言語モデルを低コストでファインチューニングする最も一般的な方法です。すべての重みを更新する代わりに、ベースモデルを凍結し、適用する各重み行列のそばに小さな低ランク行列のペアを学習します。その結果、パラメータのごく一部にしか触れないにもかかわらず、ほぼフルファインチューニングのように振る舞います。この計算では、その「ごく一部」が何パラメータに相当し、どれだけのオプティマイザメモリを必要とするかを、モデルの形状とアダプタのランクから見積もります。

LoRA が学習対象を縮める仕組み

トランスフォーマーの重み行列はある隠れベクトルを別のベクトルへ写像するため、正方の層ではおよそ $d \times d$ 個の値を保持します。それらすべてをファインチューニングするのは高くつきます。オプティマイザはそのすべてについて勾配と統計量を保存しなければならないからです。LoRA はその密な更新を、2 つの細い行列の積、すなわち形状 $d \times r$ のものと $r \times d$ のもの(ランク $r$ は $d$ よりはるかに小さい)に置き換えます。ベース重みは決して動かず、学習されるのはこの 2 つの因子だけで、推論時にはその積が元の行列に足し戻されます。

適用された各行列が寄与する学習可能な値は $r \cdot (d_{\text{in}} + d_{\text{out}})$ 個、入力幅と出力幅が等しいときは $2 r d_{\text{model}}$ 個であるため、学習対象は通常モデル全体の 1 パーセントを大きく下回ります。これが LoRA を単一のアクセラレータ上で実用的にしている理由です。

計算式

層数 $L$、層あたりの適用モジュール数 $m$、ランク $r$、隠れ層サイズ $d$ とすると、学習可能パラメータ数は次のようになります。

混合精度 Adam は学習可能パラメータあたり約 16 バイトのオプティマイザ状態とマスター重み、すなわち 32 ビットのマスターコピーと一次・二次モーメント推定値を保持するため、オプティマイザのメモリ(MB)は次のようになります。

これはアダプタの状態だけを数えます。凍結されたベースモデルは依然として重みのためにメモリを占有しますが、勾配やオプティマイザ状態は不要であり、ここから節約が生まれます。

計算例

32 層のモデルで、各層のアテンションの 4 つの射影を適用し、ランク 8、隠れ層サイズ 4096 とします。

これはおよそ 839 万個の学習可能パラメータです。オプティマイザ状態は次のとおりです。

70 億パラメータのベースモデルにとって、この 839 万個のアダプタは全体のおよそ 0.1 パーセントにすぎませんが、多くの下流タスクにモデルを特化させるには十分です。

ランクとモジュールの選び方

ランクが容量を決める主なつまみです。軽いタスク適応にはランク 4 から 8 が一般的で、対象タスクがベースモデルの学習から大きく離れている場合は 16 から 64 がより余裕を与えます。ランクを倍にすると学習可能パラメータとオプティマイザのメモリの両方が倍になるため、低いランクで適合しきれないときにだけ上げる価値があります。層あたりのモジュール数の入力は、どの行列がアダプタを受けるかを反映します。クエリとバリューだけなら 2、アテンションブロック全体なら 4、フィードフォワード行列を含めるならそれ以上です。

アダプタをモデル全体のサイズと比較するには Transformerのパラメータ数の計算 を参照してください。凍結された重みやアクティベーションを含む学習ジョブ全体のメモリを見積もるには LLMトレーニングVRAMの計算 を参照してください。