最終更新: 2026-06-22

LLM学習時間とコスト

大規模言語モデルの学習は、クラスタ上に分散された一定量の演算であるため、扱う作業量とハードウェアが決まれば、所要時間も費用もあらかじめ見通せます。この計算機は、総学習FLOPs、GPU台数、各GPUのピークスループット、モデルFLOPs利用率、1時間あたりのレンタル単価から、実行の実時間とGPU時間のコストを概算します。

見積もりが対象とする範囲

学習1回の浮動小数点演算の総量は、パラメータ数の6倍に学習トークン数を掛けた単一の量でよく近似されます。この総量が固定されると、所要時間を左右するのはクラスタがどれだけ速くそれを処理できるかだけになります。クラスタの持続速度は、各アクセラレータのピーク速度の合計を、実際に使える割合であるモデルFLOPs利用率で縮小した値です。作業量をこの速度で割ると時間が、時間にGPU台数と時間単価を掛けるとコストが得られます。

計算式

総作業量を $C$（FLOPs）、各々が $P$ TFLOP/s のアクセラレータを $n$ 台、利用率を $U$、GPU一台あたりの時間単価を $c$ とすると、実行時間 $t$ と総コスト $T$ は次のようになります。

係数 $10^{12}$ はTFLOP/sをFLOP/sに換算するもので、$t$ は秒単位で表されます。3600で割ると料金計算の前にGPU時間へと変わります。GPU台数を2倍にすると時間は半分になりますが、同じ総作業量がより早く終わるだけなので、GPU時間あたりのコストは変わりません。

計算例

$5.88 \times 10^{23}$ FLOPsの実行を、各989 TFLOP/sのアクセラレータ1,024台で利用率40%を持続し、GPU1台あたり1時間$2.50で借りる場合を考えます。

この実行はおよそ17日かかり、GPUレンタルの費用は$100万を少し超えます。利用率を40%から50%に引き上げると時間とコストがともに5分の1減ります。同じハードウェアからより多くを引き出すことが、最も安価な最適化である理由はここにあります。

限界

この見積もりは実行が演算律速であり、利用率の数値がジョブ全体の平均をすでに反映していることを前提としています。チェックポイントの書き込み、データ読み込みの停滞、ハードウェア障害後の再起動、検証パス、予約を確保しているが演算していないアイドル時間は除外しています。ネットワーク、ストレージ、スポット価格と予約価格の差も実際の総額を動かします。結果は計画の基準値として扱い、オーバーヘッド分の余裕を見込んでください。この計算に入力する総作業量は学習FLOPsの計算で導出でき、料金のうちレンタルそのものの部分はGPU クラウド費用を計算で求められます。