最終更新: 2026-06-22

MoE のアクティブパラメータ数

Mixture-of-Experts モデルは、対照的な 2 つの数を抱えています。どれだけの知識を保持できるかを表す大きな総パラメータ数と、トークンごとにどれだけの計算を行うかを表すはるかに小さなアクティブ数です。両者はしばしば混同されますが、答える問いが異なります。一方はメモリの請求額を、もう一方は計算の請求額を決めます。この計算では、エキスパート数・top-k ルーティング・エキスパートあたりのサイズ・共有重みから両者を切り分けます。

Mixture of Experts の構成

密(dense)なトランスフォーマーでは、すべてのトークンがすべての重みを通過します。Mixture of Experts は、ある層のフィードフォワードブロックを多数の並列なエキスパートに置き換え、各トークンに対してそのうち top-k だけを選ぶ小さなルーターを加えます。残りのモデル、すなわちアテンション、ルーター、埋め込み、そして常時稼働する共有エキスパートがある場合はそれは、すべてのトークンに共通したままです。したがってトークンの経路は、共有重みとルーティングされたわずかなエキスパートだけに触れ、残りのエキスパートはそのトークンに対しては休止します。

これは、密なモデルでは連動して動く 2 つの量を切り離します。容量はエキスパート数とともに増えます。エキスパートが多いほど、より専門的な知識を蓄えられるからです。計算量はアクティブエキスパート数とともにしか増えません。あるトークンに対して演算を行うのはそれだけだからです。

2 つの数

総エキスパート数 $E$、トークンごとのアクティブ数 $k$、エキスパートあたりのパラメータ数 $p$、共有パラメータ数 $s$ とすると、総数とアクティブ数は次のようになります。

ここで $T$ はメモリ消費量を決める総数、$A$ はトークンあたりの計算量を決めるアクティブ数、$r$ は各トークンが触れる重みの割合です。

計算例

70 億パラメータのエキスパートを 8 個持ち、トークンごとに 2 個をルーティングし、その上に 10 億の共有パラメータがあるモデルを考えます。

このモデルは 570 億パラメータを保持しますが、各トークンでは 150 億パラメータのモデルであるかのように計算量を費やします。常時稼働するのは重みのおよそ 4 分の 1 です。これが魅力です。570 億モデルの容量を、150 億モデルに近いトークンあたりコストで得られます。

メモリは依然として総数に従う

注意すべき点は、節約されるのが計算であってメモリではないことです。どのエキスパートも任意のトークンに選ばれうえ、トークンのバッチは多くのエキスパートに分散するため、すべてを同時に常駐させておく必要があります。将来のトークンがどのエキスパートを必要とするかをモデルは予測できません。したがってメモリ消費量は総数 $T$ に比例し、計算量だけがアクティブ数 $A$ に比例します。つまり Mixture-of-Experts モデルはホストするには大きいが動かすには安く、同じトークンあたりコストの密なモデルとは正反対のバランスです。

メモリ側を左右する総数は、Transformerのパラメータ数の計算 でアーキテクチャから積み上げられ、その重みを実際に提供するのに必要なメモリは LLM推論のVRAM計算 で扱っています。