最終更新: 2026-06-22

モデルに必要なGPU台数

大規模言語モデルは、1トークンを生成するよりも前に、まずアクセラレータのメモリに収まっていなければなりません。モデルが1台のGPUより大きいときには複数台に分割され、最初に問うべき計画上の問いは、単純に何台のデバイスが必要かということです。この計算ツールは、モデルが必要とする総VRAM、各GPUのメモリ、そして実運用が実際に使えるメモリの割合という3つの数値から、その答えを導きます。

なぜモデルは複数のGPUにまたがるのか

最新のアクセラレータは、決まった量の高帯域メモリを搭載しています。H100なら80 GB、H200なら141 GB です。重みと実行時バッファがこの値を超えるモデルは1台のデバイスには収まらないため、分割(シャーディング)されます。一般的な方法がテンソル並列です。各層をグループ内で分割し、すべてのGPUが重みの一部を保持し、部分的な結果を各層の集団通信ステップでつなぎ合わせます。グループ全体が1台のより大きなデバイスのように振る舞うわけです。この計算ツールが示す台数は、独立した複製の集合ではなく、その密に結合した1つのグループを表しています。

実効メモリは公称値を下回る

GPUがモデルに公称どおりのメモリ全量を渡すことはありません。CUDAコンテキスト、フレームワークのキャッシュアロケータ、アクティベーションのテンソル、アロケーション間の断片化がそれぞれ取り分を持ち、推論サービス中にはKVキャッシュがコンテキスト長やバッチサイズに応じて増大します。公称値のおよそ80〜90パーセントを利用可能とみなすと現実的な余裕が残ります。公称値に近づけすぎると、負荷時のメモリ不足を招きます。

計算式

モデルの要件を $M$ ギガバイト、GPU1台あたりのメモリを $g$ ギガバイト、実効利用率を $f$ とすると、デバイス台数と合計メモリは次のようになります。

ここで $n$ はGPUの台数、$T$ はその合計公称メモリです。モデルは小数台のアクセラレータでは動かせないため、天井関数で切り上げます。

計算例

140 GB のVRAMを必要とするモデルを、80 GB のGPUで、メモリの90パーセントを利用可能として動かす場合を考えます。

2台で足り、140 GB の要件に対して160 GB の公称メモリが確保され、KVキャッシュに十分な余裕があります。同じハードウェアで350 GB のモデルなら、$\lceil 350 / 72 \rceil = 5$ 台が必要です。

最小台数の先へ

ここで示す台数は、収まるかどうかの問いだけに答えるものです。その点を超えてアクセラレータを追加すると、メモリの余裕、すなわちより大きなKVキャッシュ、高いバッチサイズ、長いコンテキストの余地が得られます。これは収容の可否を変えるのではなくスループットを高めるものであり、その一方で分割に伴う通信オーバーヘッドがGPUあたりの効率を徐々に削っていきます。性能を見据えたサイジングは別の作業です。$M$ への入力となる基礎的なメモリ要件を見積もるには LLM推論のVRAM計算 を、デバイス台数を運用コストに換算するには GPU クラウド費用を計算 をご覧ください。