ホーム AI・LLM 推論スループットの計算 作成日: 2026年7月20日 21:33 推論スループットの計算 入力 パラメータ数70重みの精度16ビット（2バイト）メモリ帯域幅3,350 AI・LLM 推論スループットの計算 モデルサイズ、重みの精度、アクセラレータのメモリ帯域幅から、大規模言語モデルの復号速度に対するメモリ帯域幅の上限（単一ストリームの毎秒トークン数の上限）を見積もる。 入力 モデル パラメータ数 モデルの総パラメータ数（十億単位）。70は700億パラメータのモデルを表します。これはパラメータ数であり、プロンプトのトークン数ではありません。 重みの精度 16ビット 2バイト パラメータ1個あたりに格納するバイト数で、量子化形式によって決まります。16ビットなら2バイト、8ビットなら1バイト、4ビットなら0.5バイトです。精度を下げるとモデルが小さくなり、復号の上限が上がります。 ハードウェア メモリ帯域幅 アクセラレータのメモリ帯域幅（GB/s）。例えばH100 SXMはおよそ3,350 GB/sです。復号はトークンごとに重みを1回メモリから読み込むため、これがトークン速度の上限になります。 結果 値を入力すると計算結果が表示されます。 スループット上限 単一ストリームの復号速度の上限。3,350 GB/sを... GBのモデルで割るとおよそ毎秒...トークンになります。実際のサービングはこの一部に届く程度です。 詳細 モデルサイズ 重みが占有するメモリ。70十億パラメータを選択した精度で格納するとおよそ... GBです。復号器は出力トークンごとにこの全体を読み出す必要があります。 共有 レポートを印刷 リセット 埋め込み この計算機を埋め込む プレビュー このコードをページに貼り付けると計算機を表示できます。 コードをコピー この計算を共有 このリンクを開くと、入力した値がそのまま表示されます。 リンクをコピー 共有する XFacebookLINE メール 最終更新: 2026-06-22 推論スループット 推論スループットとは、言語モデルが1秒あたりに生成できるトークン数である。単一のリクエストでは、その上限はアクセラレータの純粋な演算性能ではなく、モデルの重みをメモリからどれだけ速く読み込めるかで決まる。この計算では、モデルサイズ、重みの精度、ハードウェアのメモリ帯域幅を、その上限、すなわち1つの復号ストリームの毎秒トークン数の上限へと変換する。 復号がメモリ律速になる理由 自己回帰的にテキストを生成するとは、1トークンを出し、それを入力に戻して次のトークンを生成することである。これらの各ステップは、1つの新しいトークンを計算するためにモデルのすべての重みを読み込まなければならない。バッチサイズが1のとき、アクセラレータは読み込んだバイトごとにごくわずかな演算しか行わないため、ほとんどの時間を乗算ではなく重みの移動に費やす。したがってトークン速度はメモリ帯域幅に支配される。（プロンプトのプリフィルはその逆で、すべてのプロンプトトークンをまとめて処理し、計算によって制限される。） 計算式 まず重みが占有するメモリ量を求め、次に利用可能な帯域幅をそれで割る。 M=N×bv=BWM\begin{aligned} M &= N \times b \\ v &= \frac{BW}{M} \end{aligned}Mv=N×b=MBW ここで NN はパラメータ数（十億単位）、bb はパラメータあたりに格納するバイト数、MM はモデルサイズ（GB）、BWBW はメモリ帯域幅（GB/s）、vv はスループット上限（毎秒トークン数）である。十億バイトはおよそ一ギガバイトなので、パラメータを十億単位で入力するとサイズが直接ギガバイトで得られる。重みの精度 bb は、十六ビットの重みで二バイト、八ビットで一バイト、四ビットで0.5バイトである。 計算例 16ビット精度の700億パラメータのモデルを、メモリ帯域幅 3,350 GB/s のアクセラレータでサービングする場合を考える。 M=70×2=140 GBv=3350140≈23.9 tokens/s\begin{aligned} M &= 70 \times 2 = 140\ \text{GB} \\ v &= \frac{3350}{140} \approx 23.9\ \text{tokens/s} \end{aligned}Mv=70×2=140 GB=1403350≈23.9 tokens/s つまり単一ストリームは毎秒24トークン近くで頭打ちになる。同じモデルを4ビットに量子化すると35 GBに縮み、上限はおよそ毎秒96トークンに上がる。これはトークンごとに読むバイト数が4分の1になることを反映した4倍の向上である。 結果の読み方 この数値は約束ではなく上限である。重みのストリーミングのトラフィックのみを数えており、キーバリューキャッシュ、アテンションの計算、カーネルのオーバーヘッドがすべて差し引かれるため、実際の単一ストリームは通常この上限の半分から4分の3程度に届く。多数のリクエストをバッチでサービングすると重みがグループ全体で1回読まれ、合計スループットは単一ストリームの数値を大きく上回る。これはバッチ推論スループットの計算で扱う。トークン速度を利用者が体感する待ち時間に変換するには推論レイテンシの計算と組み合わせ、ハードウェアの演算がどれだけ活かされているかを測るにはモデルFLOPs利用率の計算を参照されたい。 よくある質問 (FAQ)復号が計算ではなくメモリ帯域幅で制限されるのはなぜですか自己回帰的な復号では、モデルは1トークンずつ生成し、各ステップで次のトークンを計算するためにすべての重みをメモリから読み込む必要があります。バッチサイズが1の場合、読み込んだバイトあたりの演算量がごくわずかなため、アクセラレータはほとんどの時間を乗算ではなく重みの移動に費やします。したがってトークン速度は浮動小数点演算のピーク性能ではなく、メモリの読み込み速度で決まります。プロンプト全体を一度に処理するプリフィルはその逆で、計算律速です。 サーバーは実際にこの値に達しますか達しません。この数値は唯一のメモリトラフィックが重みであると仮定した理想的な上限です。実際にはキーバリューキャッシュ、アテンションの計算、カーネル起動のオーバーヘッド、メモリ利用効率の不完全さがすべて差し引かれるため、単一ストリームでは通常この上限の半分から4分の3程度に届きます。多数のリクエストをまとめてバッチ処理すると、重みがバッチ全体で1回読まれるため、合計スループットは単一ストリームの上限をはるかに上回ります。 量子化でスループットはどれだけ上がりますかスループットはモデルサイズに反比例するため、パラメータあたりのバイト数を半分にすると上限はおよそ2倍になります。16ビットの重みを8ビットにすればトークンごとに読むバイト数が半分になり、4ビットにすればさらに半分になります。量子化は出力品質を下げることがあるため、速度向上は対象タスクでの精度低下と比較して判断します。 免責事項 これは重みのメモリトラフィックのみを数え、単一ストリームの復号を前提とした一次近似の上限です。実際のスループットはサービングスタック、バッチサイズ、系列長、キーバリューキャッシュに依存し、通常はこの上限の一部にとどまります。処理能力の計画を確定する前に対象ハードウェアでベンチマークを取ってください。 次のおすすめ 推論レイテンシの計算 ストリーミング応答の最初のトークンまでの時間、トークンあたりの生成時間、出力トークン数から、大規模言語モデルの応答完了までの所要時間を見積もる。 詳しく解説モデルFLOPs利用率の計算 モデルFLOPs利用率（MFU）を計算する。パラメータ数、トークンスループット、ピークTFLOP/sから、アクセラレータの浮動小数点演算のピーク性能のうち実際にモデルが達成した割合を求める。 詳しく解説 200+ ツール · 10 言語対応 · 完全無料 推論・サービングの他の計算 トークンあたりFLOPsの計算バッチ推論スループットの計算モデルFLOPs利用率の計算画像入力トークン数の計算実効トークン毎秒の計算推論スループットの計算 +2 more Show less 推論レイテンシの計算投機的デコーディングの高速化の計算 AI・LLMの他のカテゴリ コスト・料金 1ドルあたりトークン数の計算GPU クラウド費用を計算GPU利用率コストの計算LLMファインチューニング費用の計算LLMレート制限の計画LLM学習のカーボンフットプリントの計算LLM学習時間とコストの計算LLM月額コストの計算エージェントコストの計算コンテキストコストの増加の計算コンテキスト長の判定システムプロンプトの償却コストトークンから単語数への変換トークンコスト計算バッチAPIの節約額の計算プロンプトキャッシュの節約額の計算ベクトルDBコストの計算ベクトルDBサイズの計算音声合成コストの計算音声文字起こしコストの計算画像生成コストの計算関数呼び出しのトークンオーバーヘッド構造化出力のトークンオーバーヘッド自己ホストとAPIの損益分岐の計算推論エネルギーコストの計算埋め込みコストの計算学習・スケーリング Chinchilla最適トークン数LLMトレーニングVRAMの計算LoRA の学習パラメータ数を計算データセットのトークン数の計算データ並列スケーリングの計算パイプライン並列のバブルの計算学習FLOPsの計算学習率ウォームアップの計算計算最適なモデルサイズ計算予算から求めるエポック数勾配累積のメモリ計算実効バッチサイズの計算ハードウェア・メモリ KVキャッシュサイズの計算LLM推論のVRAM計算MoE のアクティブパラメータ数を計算Transformerのパラメータ数の計算アテンションメモリの計算モデルに必要なGPU台数の計算モデルのダウンロード時間の計算量子化によるモデルサイズの計算RAG・埋め込み RAGチャンク分割の設計評価 A/Bテスト有意性の計算LLM評価のサンプルサイズの計算pass@k の計算パープレキシティの計算すべてのツール コサイン類似度の計算 この計算機は役に立ちましたか？ 役に立った 改善が必要 改善が必要 どのような点が改善されると良いですか？ フィードバックを送信 Powered by OneCalc ↗
最終更新: 2026-06-22 推論スループット 推論スループットとは、言語モデルが1秒あたりに生成できるトークン数である。単一のリクエストでは、その上限はアクセラレータの純粋な演算性能ではなく、モデルの重みをメモリからどれだけ速く読み込めるかで決まる。この計算では、モデルサイズ、重みの精度、ハードウェアのメモリ帯域幅を、その上限、すなわち1つの復号ストリームの毎秒トークン数の上限へと変換する。 復号がメモリ律速になる理由 自己回帰的にテキストを生成するとは、1トークンを出し、それを入力に戻して次のトークンを生成することである。これらの各ステップは、1つの新しいトークンを計算するためにモデルのすべての重みを読み込まなければならない。バッチサイズが1のとき、アクセラレータは読み込んだバイトごとにごくわずかな演算しか行わないため、ほとんどの時間を乗算ではなく重みの移動に費やす。したがってトークン速度はメモリ帯域幅に支配される。（プロンプトのプリフィルはその逆で、すべてのプロンプトトークンをまとめて処理し、計算によって制限される。） 計算式 まず重みが占有するメモリ量を求め、次に利用可能な帯域幅をそれで割る。 M=N×bv=BWM\begin{aligned} M &= N \times b \\ v &= \frac{BW}{M} \end{aligned}Mv=N×b=MBW ここで NN はパラメータ数（十億単位）、bb はパラメータあたりに格納するバイト数、MM はモデルサイズ（GB）、BWBW はメモリ帯域幅（GB/s）、vv はスループット上限（毎秒トークン数）である。十億バイトはおよそ一ギガバイトなので、パラメータを十億単位で入力するとサイズが直接ギガバイトで得られる。重みの精度 bb は、十六ビットの重みで二バイト、八ビットで一バイト、四ビットで0.5バイトである。 計算例 16ビット精度の700億パラメータのモデルを、メモリ帯域幅 3,350 GB/s のアクセラレータでサービングする場合を考える。 M=70×2=140 GBv=3350140≈23.9 tokens/s\begin{aligned} M &= 70 \times 2 = 140\ \text{GB} \\ v &= \frac{3350}{140} \approx 23.9\ \text{tokens/s} \end{aligned}Mv=70×2=140 GB=1403350≈23.9 tokens/s つまり単一ストリームは毎秒24トークン近くで頭打ちになる。同じモデルを4ビットに量子化すると35 GBに縮み、上限はおよそ毎秒96トークンに上がる。これはトークンごとに読むバイト数が4分の1になることを反映した4倍の向上である。 結果の読み方 この数値は約束ではなく上限である。重みのストリーミングのトラフィックのみを数えており、キーバリューキャッシュ、アテンションの計算、カーネルのオーバーヘッドがすべて差し引かれるため、実際の単一ストリームは通常この上限の半分から4分の3程度に届く。多数のリクエストをバッチでサービングすると重みがグループ全体で1回読まれ、合計スループットは単一ストリームの数値を大きく上回る。これはバッチ推論スループットの計算で扱う。トークン速度を利用者が体感する待ち時間に変換するには推論レイテンシの計算と組み合わせ、ハードウェアの演算がどれだけ活かされているかを測るにはモデルFLOPs利用率の計算を参照されたい。 よくある質問 (FAQ)復号が計算ではなくメモリ帯域幅で制限されるのはなぜですか自己回帰的な復号では、モデルは1トークンずつ生成し、各ステップで次のトークンを計算するためにすべての重みをメモリから読み込む必要があります。バッチサイズが1の場合、読み込んだバイトあたりの演算量がごくわずかなため、アクセラレータはほとんどの時間を乗算ではなく重みの移動に費やします。したがってトークン速度は浮動小数点演算のピーク性能ではなく、メモリの読み込み速度で決まります。プロンプト全体を一度に処理するプリフィルはその逆で、計算律速です。 サーバーは実際にこの値に達しますか達しません。この数値は唯一のメモリトラフィックが重みであると仮定した理想的な上限です。実際にはキーバリューキャッシュ、アテンションの計算、カーネル起動のオーバーヘッド、メモリ利用効率の不完全さがすべて差し引かれるため、単一ストリームでは通常この上限の半分から4分の3程度に届きます。多数のリクエストをまとめてバッチ処理すると、重みがバッチ全体で1回読まれるため、合計スループットは単一ストリームの上限をはるかに上回ります。 量子化でスループットはどれだけ上がりますかスループットはモデルサイズに反比例するため、パラメータあたりのバイト数を半分にすると上限はおよそ2倍になります。16ビットの重みを8ビットにすればトークンごとに読むバイト数が半分になり、4ビットにすればさらに半分になります。量子化は出力品質を下げることがあるため、速度向上は対象タスクでの精度低下と比較して判断します。 免責事項 これは重みのメモリトラフィックのみを数え、単一ストリームの復号を前提とした一次近似の上限です。実際のスループットはサービングスタック、バッチサイズ、系列長、キーバリューキャッシュに依存し、通常はこの上限の一部にとどまります。処理能力の計画を確定する前に対象ハードウェアでベンチマークを取ってください。
