ホーム AI・LLM トークンあたりFLOPsの計算 作成日: 2026年7月20日 21:33 トークンあたりFLOPsの計算 入力 順伝播の種類順伝播（2N）パラメータ数70 AI・LLM トークンあたりFLOPsの計算 順伝播の2N、学習の6Nという経験則を用い、モデルのパラメータ数（十億単位）からトランスフォーマーがトークンあたりに行う浮動小数点演算数を見積もる。 入力 モデル 順伝播の種類 順伝播 2N 推論の順伝播はパラメータあたり2演算、学習の1ステップ全体はパラメータあたり6演算として数えます。学習の値には勾配を計算する逆伝播が含まれます。 パラメータ数 モデルの総パラメータ数（十億単位）。見積もりはこの数に線形に比例するため、サイズが2倍のモデルはトークンあたりの演算も2倍になります。 結果 値を入力すると計算結果が表示されます。 トークンあたりGFLOPs トークンあたりの浮動小数点演算数（十億単位）。順伝播係数に70十億パラメータを掛けた値で、およそ... GFLOPsです。モデルを比較するのに扱いやすい単位です。 詳細 トークンあたりFLOPs 同じ値を生の浮動小数点演算数として書き出したもの（...）。処理するトークン数を掛けると、実行全体の演算量を見積もれます。 共有 レポートを印刷 リセット 埋め込み この計算機を埋め込む プレビュー このコードをページに貼り付けると計算機を表示できます。 コードをコピー この計算を共有 このリンクを開くと、入力した値がそのまま表示されます。 リンクをコピー 共有する XFacebookLINE メール 最終更新: 2026-06-22 トークンあたりFLOPs 言語モデルは1つのトークンにどれだけの計算を費やすのか。その答えは、この分野のほぼあらゆる概算の土台になる。学習予算、推論コスト、ハードウェア利用率はいずれもそこから出発する。標準的な近道は驚くほど単純である。密なトランスフォーマーは、1つのトークンを処理するのにパラメータあたりおよそ2回の浮動小数点演算を行い、学習中はおよそ6回行う。この計算は、それらの経験則をモデルのパラメータ数に適用する。 2Nの経験則 トランスフォーマーの演算は大きな行列積が支配的であり、そのいずれにおいても各重みはトークンごとに1回ずつ触れられる。1回の積和演算は2つの浮動小数点演算（1回の乗算と1回の加算）として数えられるため、NN 個のパラメータを持つモデルにトークンを通すと、順伝播でパラメータあたりおよそ2演算、すなわち2Nの経験則だけかかる。これはKaplanらのスケーリング則の研究による見積もりであり、モデルの演算量を論じる際の共通の尺度となっている。これはパラメータで重み付けされた行列積でないものをすべて意図的に無視するが、大規模モデルでは良い近似である。 順伝播と学習のコスト モデルの学習には、勾配を計算する逆伝播も必要である。逆伝播は活性値と重みの両方に関する勾配を生成し、それぞれおよそ順伝播のコストなので、順伝播の作業をおよそ倍にする。合計はおよそ3回の順伝播分、すなわちトークンあたり・パラメータあたり6演算（6Nの見積もり）になる。 G=k⋅N(GFLOPs, N in billions)F=k⋅N×109\begin{aligned} G &= k \cdot N \quad (\text{GFLOPs, } N \text{ in billions}) \\ F &= k \cdot N \times 10^{9} \end{aligned}GF=k⋅N(GFLOPs, N in billions)=k⋅N×109 係数 kk は順伝播で二、学習の一ステップで六である。NN を十億単位で入力するため、順伝播の値は直接GFLOPsで得られる。 計算例 700億パラメータのモデルの順伝播では次のとおりである。 G=2×70=140 GFLOPsF=2×70×109=1.4×1011 FLOPs\begin{aligned} G &= 2 \times 70 = 140\ \text{GFLOPs} \\ F &= 2 \times 70 \times 10^{9} = 1.4\times 10^{11}\ \text{FLOPs} \end{aligned}GF=2×70=140 GFLOPs=2×70×109=1.4×1011 FLOPs 生成される各トークンはおよそ140 GFLOPsかかる。モデルの総スループットを掛けると達成演算速度が得られ、それをアクセラレータのピークで割ると利用率が得られる。同じモデルを学習すればトークンあたり 6×70=4206 \times 70 = 420 GFLOPsかかり、学習コストにデータセットの総トークン数を掛けることが学習の演算予算を見積もる一般的な方法である。 省略しているもの この経験則はパラメータを持つ行列積のみを数える。アテンション機構は系列長とともに増えパラメータ数には依存しない別の項を加える。中程度の文脈長における典型的なモデルではそれは小さいが、非常に長い文脈ではかなりの割合を占めることがある。埋め込みや正規化の層も同様に省かれている。こうした理由から、この値は厳密な命令数ではなく、スケーリングと予算のための見積もりである。ハードウェアのピークに対する割合としての達成演算量はモデルFLOPs利用率の計算に続く。 よくある質問 (FAQ)2Nという見積もりはどこから来ますかトランスフォーマーの演算は、各重みがトークンごとに1回使われる行列積が支配的です。1回の積和演算は2つの浮動小数点演算（1回の乗算と1回の加算）なので、1つのトークンをN個のパラメータに通すと順伝播でおよそ2Nの演算がかかります。これはKaplanらのスケーリング則の研究で導入され、この分野で広く再利用されている目安です。これは近似であり、大きな行列積を数えてそれ以外をすべて無視できるものとして扱いますが、大規模モデルではよく成り立ちます。 学習が3倍高コストなのはなぜですか学習は順伝播を行い、その後に勾配を計算する逆伝播を行います。逆伝播は活性値と重みの両方に関する勾配を計算し、それぞれおよそ順伝播のコストなので、逆伝播は順伝播のおよそ2倍となり、合計でおよそ3倍、すなわちトークンあたり・パラメータあたり6演算になります。6Nにデータセットの総トークン数を掛けることが、学習の演算予算を見積もる一般的な方法です。 これにアテンションは含まれますか含まれません。2Nと6Nの経験則は、パラメータを持つ行列積のみを数えます。アテンション機構は系列長とともに増えパラメータ数には依存しない項を加えます。中程度の文脈長における典型的な大規模モデルでは、その項は行列積に比べて小さいため、見積もりは近いままです。非常に長い文脈長ではアテンションがかなりの割合を占めることがあり、より詳細なモデルが必要になります。 免責事項 これらは支配的な行列積を数え、アテンション、正規化、埋め込みの項を省いた一次近似の見積もりです。実際の演算数はアーキテクチャと文脈長に依存します。厳密なハードウェアの計上ではなく、スケーリングの比較や予算の見積もりに用いてください。 次のおすすめ モデルFLOPs利用率の計算 モデルFLOPs利用率（MFU）を計算する。パラメータ数、トークンスループット、ピークTFLOP/sから、アクセラレータの浮動小数点演算のピーク性能のうち実際にモデルが達成した割合を求める。 詳しく解説推論スループットの計算 モデルサイズ、重みの精度、アクセラレータのメモリ帯域幅から、大規模言語モデルの復号速度に対するメモリ帯域幅の上限（単一ストリームの毎秒トークン数の上限）を見積もる。 詳しく解説 200+ ツール · 10 言語対応 · 完全無料 推論・サービングの他の計算 トークンあたりFLOPsの計算バッチ推論スループットの計算モデルFLOPs利用率の計算画像入力トークン数の計算実効トークン毎秒の計算推論スループットの計算 +2 more Show less 推論レイテンシの計算投機的デコーディングの高速化の計算 AI・LLMの他のカテゴリ コスト・料金 1ドルあたりトークン数の計算GPU クラウド費用を計算GPU利用率コストの計算LLMファインチューニング費用の計算LLMレート制限の計画LLM学習のカーボンフットプリントの計算LLM学習時間とコストの計算LLM月額コストの計算エージェントコストの計算コンテキストコストの増加の計算コンテキスト長の判定システムプロンプトの償却コストトークンから単語数への変換トークンコスト計算バッチAPIの節約額の計算プロンプトキャッシュの節約額の計算ベクトルDBコストの計算ベクトルDBサイズの計算音声合成コストの計算音声文字起こしコストの計算画像生成コストの計算関数呼び出しのトークンオーバーヘッド構造化出力のトークンオーバーヘッド自己ホストとAPIの損益分岐の計算推論エネルギーコストの計算埋め込みコストの計算学習・スケーリング Chinchilla最適トークン数LLMトレーニングVRAMの計算LoRA の学習パラメータ数を計算データセットのトークン数の計算データ並列スケーリングの計算パイプライン並列のバブルの計算学習FLOPsの計算学習率ウォームアップの計算計算最適なモデルサイズ計算予算から求めるエポック数勾配累積のメモリ計算実効バッチサイズの計算ハードウェア・メモリ KVキャッシュサイズの計算LLM推論のVRAM計算MoE のアクティブパラメータ数を計算Transformerのパラメータ数の計算アテンションメモリの計算モデルに必要なGPU台数の計算モデルのダウンロード時間の計算量子化によるモデルサイズの計算RAG・埋め込み RAGチャンク分割の設計評価 A/Bテスト有意性の計算LLM評価のサンプルサイズの計算pass@k の計算パープレキシティの計算すべてのツール コサイン類似度の計算 この計算機は役に立ちましたか？ 役に立った 改善が必要 改善が必要 どのような点が改善されると良いですか？ フィードバックを送信 Powered by OneCalc ↗
最終更新: 2026-06-22 トークンあたりFLOPs 言語モデルは1つのトークンにどれだけの計算を費やすのか。その答えは、この分野のほぼあらゆる概算の土台になる。学習予算、推論コスト、ハードウェア利用率はいずれもそこから出発する。標準的な近道は驚くほど単純である。密なトランスフォーマーは、1つのトークンを処理するのにパラメータあたりおよそ2回の浮動小数点演算を行い、学習中はおよそ6回行う。この計算は、それらの経験則をモデルのパラメータ数に適用する。 2Nの経験則 トランスフォーマーの演算は大きな行列積が支配的であり、そのいずれにおいても各重みはトークンごとに1回ずつ触れられる。1回の積和演算は2つの浮動小数点演算（1回の乗算と1回の加算）として数えられるため、NN 個のパラメータを持つモデルにトークンを通すと、順伝播でパラメータあたりおよそ2演算、すなわち2Nの経験則だけかかる。これはKaplanらのスケーリング則の研究による見積もりであり、モデルの演算量を論じる際の共通の尺度となっている。これはパラメータで重み付けされた行列積でないものをすべて意図的に無視するが、大規模モデルでは良い近似である。 順伝播と学習のコスト モデルの学習には、勾配を計算する逆伝播も必要である。逆伝播は活性値と重みの両方に関する勾配を生成し、それぞれおよそ順伝播のコストなので、順伝播の作業をおよそ倍にする。合計はおよそ3回の順伝播分、すなわちトークンあたり・パラメータあたり6演算（6Nの見積もり）になる。 G=k⋅N(GFLOPs, N in billions)F=k⋅N×109\begin{aligned} G &= k \cdot N \quad (\text{GFLOPs, } N \text{ in billions}) \\ F &= k \cdot N \times 10^{9} \end{aligned}GF=k⋅N(GFLOPs, N in billions)=k⋅N×109 係数 kk は順伝播で二、学習の一ステップで六である。NN を十億単位で入力するため、順伝播の値は直接GFLOPsで得られる。 計算例 700億パラメータのモデルの順伝播では次のとおりである。 G=2×70=140 GFLOPsF=2×70×109=1.4×1011 FLOPs\begin{aligned} G &= 2 \times 70 = 140\ \text{GFLOPs} \\ F &= 2 \times 70 \times 10^{9} = 1.4\times 10^{11}\ \text{FLOPs} \end{aligned}GF=2×70=140 GFLOPs=2×70×109=1.4×1011 FLOPs 生成される各トークンはおよそ140 GFLOPsかかる。モデルの総スループットを掛けると達成演算速度が得られ、それをアクセラレータのピークで割ると利用率が得られる。同じモデルを学習すればトークンあたり 6×70=4206 \times 70 = 420 GFLOPsかかり、学習コストにデータセットの総トークン数を掛けることが学習の演算予算を見積もる一般的な方法である。 省略しているもの この経験則はパラメータを持つ行列積のみを数える。アテンション機構は系列長とともに増えパラメータ数には依存しない別の項を加える。中程度の文脈長における典型的なモデルではそれは小さいが、非常に長い文脈ではかなりの割合を占めることがある。埋め込みや正規化の層も同様に省かれている。こうした理由から、この値は厳密な命令数ではなく、スケーリングと予算のための見積もりである。ハードウェアのピークに対する割合としての達成演算量はモデルFLOPs利用率の計算に続く。 よくある質問 (FAQ)2Nという見積もりはどこから来ますかトランスフォーマーの演算は、各重みがトークンごとに1回使われる行列積が支配的です。1回の積和演算は2つの浮動小数点演算（1回の乗算と1回の加算）なので、1つのトークンをN個のパラメータに通すと順伝播でおよそ2Nの演算がかかります。これはKaplanらのスケーリング則の研究で導入され、この分野で広く再利用されている目安です。これは近似であり、大きな行列積を数えてそれ以外をすべて無視できるものとして扱いますが、大規模モデルではよく成り立ちます。 学習が3倍高コストなのはなぜですか学習は順伝播を行い、その後に勾配を計算する逆伝播を行います。逆伝播は活性値と重みの両方に関する勾配を計算し、それぞれおよそ順伝播のコストなので、逆伝播は順伝播のおよそ2倍となり、合計でおよそ3倍、すなわちトークンあたり・パラメータあたり6演算になります。6Nにデータセットの総トークン数を掛けることが、学習の演算予算を見積もる一般的な方法です。 これにアテンションは含まれますか含まれません。2Nと6Nの経験則は、パラメータを持つ行列積のみを数えます。アテンション機構は系列長とともに増えパラメータ数には依存しない項を加えます。中程度の文脈長における典型的な大規模モデルでは、その項は行列積に比べて小さいため、見積もりは近いままです。非常に長い文脈長ではアテンションがかなりの割合を占めることがあり、より詳細なモデルが必要になります。 免責事項 これらは支配的な行列積を数え、アテンション、正規化、埋め込みの項を省いた一次近似の見積もりです。実際の演算数はアーキテクチャと文脈長に依存します。厳密なハードウェアの計上ではなく、スケーリングの比較や予算の見積もりに用いてください。
