最終更新: 2026-06-22

Transformerのパラメータ数

大規模言語モデルの規模は、ふつう70億、700億といった一つの見出し数値で語られますが、その数値は少数のアーキテクチャ上の選択によって完全に決まります。層数、隠れ層サイズ、フィードフォワードの拡張率、語彙が与えられれば、総パラメータ数は短い式から導かれます。この計算ツールはその式を当てはめて一次近似の見積りを示すもので、重みがまだ一つも存在しない段階でモデルの規模を見積もる、まさに概算の推論です。

パラメータの所在

デコーダ専用Transformerのほぼすべての重みは、3つの場所のいずれかにあります。各ブロックのアテンションのサブ層は、クエリ、キー、バリュー、出力の射影という4つの正方の重み行列を持ち、それぞれのサイズは隠れ層 × 隠れ層です。フィードフォワードのサブ層は、隠れ層のストリームをより広い内部次元に拡張し、それを元に戻す2つの行列を持ちます。そして層のスタックとは別に、トークン埋め込みテーブルが語彙の各エントリに対して隠れ層サイズのベクトルを1つ格納します。

これらを数えるとアーキテクチャの見積りが得られます。アテンションブロックは1層あたり約 $4d^2$ の値を寄与します。ここで $d$ は隠れ層サイズです。フィードフォワードブロックは内部の幅 $m \cdot d$ に拡張し、約 $2 m d^2$ を寄与します。埋め込みテーブルは語彙サイズ $V$ に $d$ を掛けた値を寄与します。

計算式

層数を $L$、隠れ層サイズを $d$、フィードフォワード拡張率を $m$、語彙サイズを $V$ とすると、総パラメータ数は次のようになります。

第1項は全層にわたる層ごとのアテンションとフィードフォワードの重みをまとめたもので、第2項は埋め込みテーブルです。層ごとの項は隠れ層サイズの2乗に比例するため、モデルの幅は深さよりはるかに重要です。隠れ層サイズを2倍にするとパラメータ数はおよそ4倍になりますが、層数を2倍にしても2倍にしかなりません。

計算例

層数32、隠れ層サイズ4096、フィードフォワード拡張率4、語彙32,000トークンのモデルを考えます。層ごとの係数は $4 + 2 \times 4 = 12$ なので、

層のスタックがそのほとんどを占め、埋め込みテーブルが加えるのは約1億3,100万、全体の2パーセント強にすぎません。一般的な拡張率4では、各層のおよそ3分の2がフィードフォワードの重みに、3分の1がアテンションに置かれます。

この見積りが省いているもの

これは一次近似の数え方です。総数を支配する行列を捉えますが、小さな項、すなわちバイアス、レイヤー正規化のスケールとシフトの値、学習された位置埋め込みは省きます。これらは合わせても通常は大規模モデルの1パーセントを大きく下回るため、見出しの数値を動かしません。またこの見積りは、入力埋め込みと出力射影が一つの行列を共有する(埋め込みの共有)と仮定しているため、テーブルは1回だけ数えられます。共有しないモデルは、そのテーブルを2回持つことになります。

パラメータ数がわかれば、それがデプロイの実務的な問いを導きます。重みを保持するために必要なメモリは、パラメータ数と数値精度に依存し、量子化によるモデルサイズの計算 で扱います。同じモデルを学習するために必要なメモリは、重みに加えてオプティマイザの状態とアクティベーションを上乗せするもので、LLMトレーニングVRAMの計算 で扱います。