最終更新: 2026-06-22

計算予算から求めるエポック数

固定された計算予算と固定されたデータセットは、合わせてモデルがデータを何回読み込めるかを決めます。学習の計画は多くの場合この問いに帰着します。すなわち、これだけのPFLOP/s日の割当、既知の規模のモデル、既知のトークン数のデータセットが与えられたとき、何エポックが可能かという問いです。本ツールは、標準的なコストモデルで予算を学習可能トークン数に換算し、データセットの規模で割ることでこれに答えます。

計算量、トークン、エポック

学習の計算量は通常PFLOP/s日（1ペタフロップ毎秒を1日継続した量）で割り当てられます。1回の学習ステップの主要なコストは、トークンごとパラメータごとに6回の浮動小数点演算でよく近似されます。内訳は前向き計算に2回、逆伝播に約4回です。この法則によって計算予算は直接トークン数に変換されます。演算回数で表した予算を1トークンあたりのコストで割ったものが、予算で学習できるトークン数だからです。その学習可能トークン数をデータセットの規模で割ると、走査回数、すなわちエポック数が得られます。

計算式

$C$ をPFLOP/s日単位の予算、$N$ を十億単位のパラメータ数、$D$ を十億トークン単位のデータセットとします。一つの PFLOP/s日は $8.64 \times 10^{19}$ 演算に等しく、六演算の比率では $N$ 十億パラメータは $N \times 10^{18}$ となるため、学習可能トークン数 $B$（十億）とエポック数 $e$ は次のように表されます。

計算例

6,000 PFLOP/s日の予算、700億パラメータのモデル、3,000億トークンのデータセットを考えます。

この予算は約1.23兆の学習可能トークンをまかない、3,000億トークンのデータセットを約4回走査することに相当します。1をこれほど大きく上回る結果は、利用可能な計算量に対してデータセットが小さいことの表れです。

結果の読み方

エポック数が1に近い場合は、予算がデータの1回走査に見合っていることを意味し、これは大規模モデルの計算最適なレシピが好む領域です。1を大きく上回る場合は、データを数回繰り返すだけの計算量があることを意味します。繰り返しのトークンより新しいトークンの方が情報量が多いため、これは同じコーパスを巡回するより一意なデータを増やすべきことを示すことが多いです。1未満の場合は予算が1回の走査すらまかなえないため、より小さなモデル、データの一部、または追加の計算量が必要です。予算に対するモデル規模とトークン数の見合った組合せは計算最適なモデルサイズで扱います。

限界

この推定はトークンごとパラメータごと6演算の近似を用い、予算全体が有用な学習に使われると仮定します。実際の学習はピークスループットの一部しか維持できず、通信やパイプラインのオーバーヘッドで時間を失い、評価や再起動にも計算量を費やすため、達成可能なエポック数はこの上限より低くなります。あるモデル規模に対する計算最適なトークン目標値、すなわちデータセットの十分さを判断する基準はChinchilla最適トークン数で得られます。