ホーム AI・LLM 学習FLOPsの計算 作成日: 2026年7月20日 21:33 学習FLOPsの計算 入力 パスの種類学習ステップ（6ND）パラメータ数70学習トークン数1,400 AI・LLM 学習FLOPsの計算 パラメータ数と学習トークン数から、6NDルールでTransformerの学習に必要な浮動小数点演算量を概算する。総FLOPsとpetaFLOP/s・日の両方で表示。 入力 モデルとデータ パスの種類 学習ステップ 6ND 学習1ステップ分を数えるか、順伝播のみを数えるか。学習ステップはパラメータ1つ・トークン1つあたり約6回の浮動小数点演算（順伝播と逆伝播）を要し、順伝播のみなら約2回。 パラメータ数 モデルのパラメータ数（十億単位）。トークン数とパスの係数を掛けて総計算量を概算する。 学習トークン数 モデルを学習させるトークン数（十億単位）。6NDルールでは、データ量が増えるほど計算量は比例して増える。 結果 値を入力すると計算結果が表示されます。 総FLOPs 学習に要する浮動小数点演算量の概算。パスの係数に70十億パラメータと1,400十億トークンを掛けた値で、約...。 詳細 計算量 同じ総量を、学習予算でよく使われる単位 petaFLOP/s・日で表したもの。1単位は1 petaFLOP/sを1日維持した計算量、すなわち8.64 × 10¹⁹回の演算に等しい。 共有 レポートを印刷 リセット 埋め込み この計算機を埋め込む プレビュー このコードをページに貼り付けると計算機を表示できます。 コードをコピー この計算を共有 このリンクを開くと、入力した値がそのまま表示されます。 リンクをコピー 共有する XFacebookLINE メール 最終更新: 2026-06-22 学習FLOPs 大規模言語モデルの学習に必要な計算資源は、学習全体で実行される浮動小数点演算の回数という単一の量で大きく決まります。密なTransformerでは、この量は6NDルールでよく近似されます。これは、見たパラメータ1つ・トークン1つあたり約6回の演算がかかるという経験則です。この計算では、パラメータ数とトークン数からそのルールを適用し、生の演算回数と petaFLOP/s・日に換算した値の両方を求めます。 6NDルール Transformerの順伝播は、支配的な行列積において、パラメータ1つ・トークン1つあたりおよそ2回の浮動小数点演算（乗算1回と加算1回）を行います。学習ではこれに、活性値と重みの両方へ勾配を伝える逆伝播が加わり、順伝播の約2倍のコストがかかります。順伝播と逆伝播を合わせると、パラメータ1つ・トークン1つあたり約6回の演算になります。NN 個のパラメータと DD 個の学習トークンがあれば、総量はおおむね 6 N D6\,N\,D に近づきます。この概算は支配的な線形層を捉え、アテンション・埋め込み・正規化からの小さい寄与は省いていますが、大規模モデルではこれらは無視できます。 計算式 パスの係数 kk（学習ステップで六、順伝播のみで二）、十億単位のパラメータ数 NN、十億単位のトークン数 DD を用いると、総演算回数と petaFLOP/s・日の計算量は次のようになります。 C=k⋅N⋅D⋅1018P=C8.64×1019\begin{aligned} C &= k \cdot N \cdot D \cdot 10^{18} \\ P &= \frac{C}{8.64 \times 10^{19}} \end{aligned}CP=k⋅N⋅D⋅1018=8.64×1019C ここで CC は総FLOPs、PP は petaFLOP/s・日の計算量です。係数 101810^{18} は、NN と DD の十億という単位を絶対数に戻すためのものです。一つの petaFLOP/s・日は、毎秒一ペタフロップを丸一日維持した量に等しく、1015×86,400=8.64×101910^{15} \times 86{,}400 = 8.64 \times 10^{19} 回の演算に等しく、この値で割ると生のFLOPs値が大規模学習で通常使われる単位に変換されます。 計算例 700億パラメータのモデルを1兆4,000億トークンで学習する場合を考えます。トークン対パラメータ比は20で、計算最適な慣行に沿った値です。 C=6×70×1400×1018=5.88×1023 FLOPsP=5.88×10238.64×1019≈6,805.6 PFLOP/s・日\begin{aligned} C &= 6 \times 70 \times 1400 \times 10^{18} = 5.88 \times 10^{23}\ \text{FLOPs} \\ P &= \frac{5.88 \times 10^{23}}{8.64 \times 10^{19}} \approx 6{,}805.6\ \text{PFLOP/s・日} \end{aligned}CP=6×70×1400×1018=5.88×1023 FLOPs=8.64×10195.88×1023≈6,805.6 PFLOP/s・日 この学習には約 5.88×10235.88 \times 10^{23} 回の演算、すなわち約6,806 petaFLOP/s・日が必要です。パスの係数を2に切り替えると順伝播のみのコストが表示され、これは学習総量の3分の1にあたります。 限界 6NDルールは演算回数を理想化して数えたものであり、実時間や費用の予測ではありません。実際のハードウェアはピーク性能の一部しか維持できないため、実時間はこの計算量を、公称値ではなく実効スループットで割って求めます。この差はモデルFLOPs利用率の計算で扱います。この概算はまた、活性値の再計算、オプティマイザのステップ、評価、失敗して再開する実行も省いており、これらはいずれも実務上の計算量を増やします。所与の規模のモデルが何トークンを見るべきかという対になる問いはChinchilla最適トークン数が、この計算量をレンタル予算に換算する問いはGPU クラウド費用を計算が扱います。 よくある質問 (FAQ)6NDルールとは何ですか。6NDルールは、密なTransformerの学習に必要な計算量を、パラメータ1つ・トークン1つあたり約6回の浮動小数点演算と見積もる経験則です。Nはパラメータ数、Dはトークン数を表します。係数6は、順伝播でパラメータあたり約2回、勾配を計算する逆伝播で約4回という内訳に由来します。 これはスケーリング則の研究で導入された一次近似で、支配的な行列積を捉える一方、アテンションや埋め込みといった小さい項は省いています。 総FLOPsと petaFLOP/s・日はどう対応しますか。1 petaFLOP/s・日は、1 petaFLOP/sを丸1日維持して得られる計算量で、8.64 × 10¹⁹回の浮動小数点演算に等しくなります（毎秒10¹⁵回 × 86,400秒）。総FLOPsをこの値で割ると petaFLOP/s・日に換算できます。大規模な学習の計算量を報告する際は、生のFLOPs値が桁外れに大きくなるため、この単位がよく用いられます。 この概算には何が含まれ、何が含まれませんか。この概算は、指定したトークン数に対して、順伝播と逆伝播における支配的な線形層の浮動小数点演算を数えます。ハードウェアの稼働率は考慮しないため、実際の学習にかかる実時間と費用は理想的な計算量から想定されるより高くなります。また、活性値の再計算、オプティマイザのオーバーヘッド、評価、失敗や再開を伴う実行も省いており、これらはいずれも実務上の計算量を押し上げます。 免責事項 これは密なTransformer向けの一次近似である6NDルールを用い、理想的な計算量のみを数えます。実際の学習時間と費用は、ピークを大きく下回るハードウェアの稼働率や、式が省いたオーバーヘッドに左右されます。結果は厳密な計上ではなく、計画立案のための概算として扱ってください。 次のおすすめ Chinchilla最適トークン数 パラメータあたり約20トークンというChinchillaの法則を使い、モデルにとって計算最適な学習トークン数と、それに伴う学習計算量（FLOPs）を求める。 詳しく解説LLM学習時間とコストの計算 総学習FLOPs、GPU台数、GPU1台あたりのピークTFLOP/s、モデルFLOPs利用率（MFU）、GPUの時間単価から、LLMの学習にかかる時間とコストを概算します。 詳しく解説 200+ ツール · 10 言語対応 · 完全無料 学習・スケーリングの他の計算 Chinchilla最適トークン数LLMトレーニングVRAMの計算LoRA の学習パラメータ数を計算データセットのトークン数の計算データ並列スケーリングの計算学習FLOPsの計算 +6 more Show less パイプライン並列のバブルの計算学習率ウォームアップの計算計算最適なモデルサイズ計算予算から求めるエポック数勾配累積のメモリ計算実効バッチサイズの計算 AI・LLMの他のカテゴリ コスト・料金 1ドルあたりトークン数の計算GPU クラウド費用を計算GPU利用率コストの計算LLMファインチューニング費用の計算LLMレート制限の計画LLM学習のカーボンフットプリントの計算LLM学習時間とコストの計算LLM月額コストの計算エージェントコストの計算コンテキストコストの増加の計算コンテキスト長の判定システムプロンプトの償却コストトークンから単語数への変換トークンコスト計算バッチAPIの節約額の計算プロンプトキャッシュの節約額の計算ベクトルDBコストの計算ベクトルDBサイズの計算音声合成コストの計算音声文字起こしコストの計算画像生成コストの計算関数呼び出しのトークンオーバーヘッド構造化出力のトークンオーバーヘッド自己ホストとAPIの損益分岐の計算推論エネルギーコストの計算埋め込みコストの計算推論・サービング トークンあたりFLOPsの計算バッチ推論スループットの計算モデルFLOPs利用率の計算画像入力トークン数の計算実効トークン毎秒の計算推論スループットの計算推論レイテンシの計算投機的デコーディングの高速化の計算ハードウェア・メモリ KVキャッシュサイズの計算LLM推論のVRAM計算MoE のアクティブパラメータ数を計算Transformerのパラメータ数の計算アテンションメモリの計算モデルに必要なGPU台数の計算モデルのダウンロード時間の計算量子化によるモデルサイズの計算RAG・埋め込み RAGチャンク分割の設計評価 A/Bテスト有意性の計算LLM評価のサンプルサイズの計算pass@k の計算パープレキシティの計算すべてのツール コサイン類似度の計算 この計算機は役に立ちましたか？ 役に立った 改善が必要 改善が必要 どのような点が改善されると良いですか？ フィードバックを送信 Powered by OneCalc ↗
最終更新: 2026-06-22 学習FLOPs 大規模言語モデルの学習に必要な計算資源は、学習全体で実行される浮動小数点演算の回数という単一の量で大きく決まります。密なTransformerでは、この量は6NDルールでよく近似されます。これは、見たパラメータ1つ・トークン1つあたり約6回の演算がかかるという経験則です。この計算では、パラメータ数とトークン数からそのルールを適用し、生の演算回数と petaFLOP/s・日に換算した値の両方を求めます。 6NDルール Transformerの順伝播は、支配的な行列積において、パラメータ1つ・トークン1つあたりおよそ2回の浮動小数点演算（乗算1回と加算1回）を行います。学習ではこれに、活性値と重みの両方へ勾配を伝える逆伝播が加わり、順伝播の約2倍のコストがかかります。順伝播と逆伝播を合わせると、パラメータ1つ・トークン1つあたり約6回の演算になります。NN 個のパラメータと DD 個の学習トークンがあれば、総量はおおむね 6 N D6\,N\,D に近づきます。この概算は支配的な線形層を捉え、アテンション・埋め込み・正規化からの小さい寄与は省いていますが、大規模モデルではこれらは無視できます。 計算式 パスの係数 kk（学習ステップで六、順伝播のみで二）、十億単位のパラメータ数 NN、十億単位のトークン数 DD を用いると、総演算回数と petaFLOP/s・日の計算量は次のようになります。 C=k⋅N⋅D⋅1018P=C8.64×1019\begin{aligned} C &= k \cdot N \cdot D \cdot 10^{18} \\ P &= \frac{C}{8.64 \times 10^{19}} \end{aligned}CP=k⋅N⋅D⋅1018=8.64×1019C ここで CC は総FLOPs、PP は petaFLOP/s・日の計算量です。係数 101810^{18} は、NN と DD の十億という単位を絶対数に戻すためのものです。一つの petaFLOP/s・日は、毎秒一ペタフロップを丸一日維持した量に等しく、1015×86,400=8.64×101910^{15} \times 86{,}400 = 8.64 \times 10^{19} 回の演算に等しく、この値で割ると生のFLOPs値が大規模学習で通常使われる単位に変換されます。 計算例 700億パラメータのモデルを1兆4,000億トークンで学習する場合を考えます。トークン対パラメータ比は20で、計算最適な慣行に沿った値です。 C=6×70×1400×1018=5.88×1023 FLOPsP=5.88×10238.64×1019≈6,805.6 PFLOP/s・日\begin{aligned} C &= 6 \times 70 \times 1400 \times 10^{18} = 5.88 \times 10^{23}\ \text{FLOPs} \\ P &= \frac{5.88 \times 10^{23}}{8.64 \times 10^{19}} \approx 6{,}805.6\ \text{PFLOP/s・日} \end{aligned}CP=6×70×1400×1018=5.88×1023 FLOPs=8.64×10195.88×1023≈6,805.6 PFLOP/s・日 この学習には約 5.88×10235.88 \times 10^{23} 回の演算、すなわち約6,806 petaFLOP/s・日が必要です。パスの係数を2に切り替えると順伝播のみのコストが表示され、これは学習総量の3分の1にあたります。 限界 6NDルールは演算回数を理想化して数えたものであり、実時間や費用の予測ではありません。実際のハードウェアはピーク性能の一部しか維持できないため、実時間はこの計算量を、公称値ではなく実効スループットで割って求めます。この差はモデルFLOPs利用率の計算で扱います。この概算はまた、活性値の再計算、オプティマイザのステップ、評価、失敗して再開する実行も省いており、これらはいずれも実務上の計算量を増やします。所与の規模のモデルが何トークンを見るべきかという対になる問いはChinchilla最適トークン数が、この計算量をレンタル予算に換算する問いはGPU クラウド費用を計算が扱います。 よくある質問 (FAQ)6NDルールとは何ですか。6NDルールは、密なTransformerの学習に必要な計算量を、パラメータ1つ・トークン1つあたり約6回の浮動小数点演算と見積もる経験則です。Nはパラメータ数、Dはトークン数を表します。係数6は、順伝播でパラメータあたり約2回、勾配を計算する逆伝播で約4回という内訳に由来します。 これはスケーリング則の研究で導入された一次近似で、支配的な行列積を捉える一方、アテンションや埋め込みといった小さい項は省いています。 総FLOPsと petaFLOP/s・日はどう対応しますか。1 petaFLOP/s・日は、1 petaFLOP/sを丸1日維持して得られる計算量で、8.64 × 10¹⁹回の浮動小数点演算に等しくなります（毎秒10¹⁵回 × 86,400秒）。総FLOPsをこの値で割ると petaFLOP/s・日に換算できます。大規模な学習の計算量を報告する際は、生のFLOPs値が桁外れに大きくなるため、この単位がよく用いられます。 この概算には何が含まれ、何が含まれませんか。この概算は、指定したトークン数に対して、順伝播と逆伝播における支配的な線形層の浮動小数点演算を数えます。ハードウェアの稼働率は考慮しないため、実際の学習にかかる実時間と費用は理想的な計算量から想定されるより高くなります。また、活性値の再計算、オプティマイザのオーバーヘッド、評価、失敗や再開を伴う実行も省いており、これらはいずれも実務上の計算量を押し上げます。 免責事項 これは密なTransformer向けの一次近似である6NDルールを用い、理想的な計算量のみを数えます。実際の学習時間と費用は、ピークを大きく下回るハードウェアの稼働率や、式が省いたオーバーヘッドに左右されます。結果は厳密な計上ではなく、計画立案のための概算として扱ってください。
