ホーム AI・LLM 推論レイテンシの計算 作成日: 2026年7月20日 21:33 推論レイテンシの計算 入力 最初のトークンまでの時間200 msトークンあたりの生成時間20 ms出力トークン数500 AI・LLM 推論レイテンシの計算 ストリーミング応答の最初のトークンまでの時間、トークンあたりの生成時間、出力トークン数から、大規模言語モデルの応答完了までの所要時間を見積もる。 入力 サービング条件 最初のトークンまでの時間 ms 最初のトークンが表示されるまで利用者が待つ時間。プロンプトの処理（プリフィル）と最初のトークンの復号を含み、通常はミリ秒単位で報告されます。 トークンあたりの生成時間 ms 生成中に連続するトークンが表示される間隔で、トークン間レイテンシとも呼ばれます。その逆数が定常状態の生成速度（1秒あたりのトークン数）です。 出力トークン数 ≥ 1 モデルが応答として生成するトークン数。回答が長くなるほどトークン間の待ち時間が1つずつ加わるため、レイテンシはこの数にほぼ比例して増加します。 結果 値を入力すると計算結果が表示されます。 応答完了までの時間 秒 500トークンの回答を出し終えるまでの時間。最初のトークンまでの200 msに、2番目以降の各トークンに伴うトークン間の待ち時間を加えたものです（...）。 詳細 全体スループット 出力トークン数を応答完了までの時間で割った値（毎秒...トークン）。固定の初期待ち時間が回答全体に分散されるため、純粋な生成速度より低くなります。 共有 レポートを印刷 リセット 埋め込み この計算機を埋め込む プレビュー このコードをページに貼り付けると計算機を表示できます。 コードをコピー この計算を共有 このリンクを開くと、入力した値がそのまま表示されます。 リンクをコピー 共有する XFacebookLINE メール 最終更新: 2026-06-22 推論レイテンシ 推論レイテンシとは、言語モデルが回答するまで利用者が待つ時間である。ストリーミング応答では、文字が現れる前の初期の間と、その後に続くトークンの一定のリズムという2つの異なる部分に分かれる。この計算では、両者と回答の長さを組み合わせて、応答完了までの時間と、1つのリクエストが実際に体感するスループットを見積もる。 最初のトークンまでの時間とトークンあたりの生成時間 ストリーミングのエンドポイントは2つの測定値で説明できる。最初のトークンまでの時間（tttftt_{ttft}）は、リクエストを送ってから最初のトークンが見えるまでの遅延である。これはプロンプトの読み込み、すべてのプロンプトトークンに対するアテンションのキャッシュ構築という計算律速のプリフィル段階、そして一つのトークンの復号を含む。長いプロンプトほどこの時間は伸びる。トークンあたりの生成時間（ttpott_{tpot}、トークン間レイテンシとも呼ぶ）は、復号段階で後続の各トークンが現れる間隔である。復号はメモリ帯域幅律速であり、新しいトークンごとにモデルの全重みを一度読み込むため、この値はほぼ一定に保たれ、その逆数が毎秒あたりのトークン数で表した定常生成速度になる。 計算式 最初のトークンは最初のトークンまでの時間にすでに含まれているため、残りの各トークンがトークン間の間隔を1つずつ加える。 T=tttft+(Nout−1) ttpotv=NoutT\begin{aligned} T &= t_{ttft} + (N_{out} - 1)\, t_{tpot} \\ v &= \frac{N_{out}}{T} \end{aligned}Tv=tttft+(Nout−1)ttpot=TNout ここで NoutN_{out} は出力トークン数、TT は応答完了までの時間、vv は全体スループットである。1を引く項によってトークン数が厳密になるが、長い回答では結果はほとんど変わらない。 計算例 あるエンドポイントが最初のトークンまでの時間 200 ms、トークンあたりの生成時間 20 ms（毎秒50トークンの定常生成速度に相当）を報告し、モデルが500トークンの回答を生成するとする。 T=0.2+(500−1)×0.02=0.2+9.98=10.18 sv=50010.18≈49.1 tokens/s\begin{aligned} T &= 0.2 + (500 - 1)\times 0.02 \\ &= 0.2 + 9.98 = 10.18\ \text{s} \\ v &= \frac{500}{10.18} \approx 49.1\ \text{tokens/s} \end{aligned}Tv=0.2+(500−1)×0.02=0.2+9.98=10.18 s=10.18500≈49.1 tokens/s 回答にはおよそ10秒かかり、全体スループット毎秒49.1トークンは純粋な毎秒50トークンをわずかに下回る。これは固定の初期待ち時間が応答全体に分散されるためである。両者の差は回答が長くなるほど縮まり、起動の間が支配的になる短い回答では広がる。 レイテンシを下げる 最初のトークンまでの時間は、プロンプトの短縮、プロンプトキャッシュ、プリフィルの速いハードウェアに反応する。トークンあたりの生成時間は、メモリ帯域幅の向上、量子化、そしてモデルの1回の順伝播で複数のトークンを出力する投機的デコーディングなどの手法に反応する。総時間は生成トークンごとに増えるため、対話的なアプリケーションでは最大出力長に上限を設けることが最も直接的な手段になることが多い。ドラフトモデルの受理率がトークンあたりの値をどう変えるかは投機的デコーディングの高速化の計算を、フリート全体の処理能力を見積もるには実効トークン毎秒の計算を参照されたい。 よくある質問 (FAQ)最初のトークンまでの時間とトークンあたりの生成時間はどう違いますか最初のトークンまでの時間（TTFT）は、モデルがプロンプト全体を読み込み、アテンションのキャッシュを構築し、最初のトークンを出力するまでの初期待ち時間を表します。トークンあたりの生成時間（TPOT、またはトークン間レイテンシ）は、その後の安定した生成ペースを表し、新しいトークンごとに1回の復号ステップだけで済みます。TTFTはプロンプト長に応じて増え、計算負荷の高いプリフィル段階が支配的です。一方TPOTは復号時のメモリ帯域幅で決まり、トークンあたりはほぼ一定に保たれます。 計算式で出力トークン数から1を引くのはなぜですか最初のトークンは最初のトークンまでの時間にすでに含まれているため、トークン間の待ち時間が加わるのは残りのトークンだけです。500トークンの回答であれば、最初のトークンの後に499回のトークン間の間隔が加わります。長い回答ではトークン数で掛けた場合と、トークン数から1を引いた場合の差はわずかですが、1を引く形が厳密です。 サービングのレイテンシはどのように下げられますか最初のトークンまでの時間は、プロンプトの短縮、プロンプトキャッシュ、プリフィルの速いハードウェアで下がります。トークンあたりの生成時間は、メモリ帯域幅の向上、量子化、投機的デコーディングなどで下がります。総時間は生成トークンごとに増えるため、最大出力長に上限を設けることが最も単純な手段になることが多いです。 免責事項 この計算結果は、トークンあたりのレイテンシが一定で中断のない単一ストリームを前提としています。実際のサービングシステムはバッチ処理、待ち行列、ネットワーク転送、負荷によって変動するため、サービス品質の保証ではなく計画段階の目安として扱ってください。 次のおすすめ 実効トークン毎秒の計算 アクセラレータ1台あたりのピーク速度、アクセラレータ数、利用率から、推論フリートが持続できるトークンスループットを見積もる。単一ストリームのピークではなく現実的な処理能力を示す。 詳しく解説バッチ推論スループットの計算 測定したバッチ完了時間から、合計の毎秒トークン数、リクエストごとの速度、毎秒リクエスト数を算出する。バッチ推論におけるスループットとレイテンシのトレードオフを示す。 詳しく解説 200+ ツール · 10 言語対応 · 完全無料 推論・サービングの他の計算 トークンあたりFLOPsの計算バッチ推論スループットの計算モデルFLOPs利用率の計算画像入力トークン数の計算実効トークン毎秒の計算推論レイテンシの計算 +2 more Show less 推論スループットの計算投機的デコーディングの高速化の計算 AI・LLMの他のカテゴリ コスト・料金 1ドルあたりトークン数の計算GPU クラウド費用を計算GPU利用率コストの計算LLMファインチューニング費用の計算LLMレート制限の計画LLM学習のカーボンフットプリントの計算LLM学習時間とコストの計算LLM月額コストの計算エージェントコストの計算コンテキストコストの増加の計算コンテキスト長の判定システムプロンプトの償却コストトークンから単語数への変換トークンコスト計算バッチAPIの節約額の計算プロンプトキャッシュの節約額の計算ベクトルDBコストの計算ベクトルDBサイズの計算音声合成コストの計算音声文字起こしコストの計算画像生成コストの計算関数呼び出しのトークンオーバーヘッド構造化出力のトークンオーバーヘッド自己ホストとAPIの損益分岐の計算推論エネルギーコストの計算埋め込みコストの計算学習・スケーリング Chinchilla最適トークン数LLMトレーニングVRAMの計算LoRA の学習パラメータ数を計算データセットのトークン数の計算データ並列スケーリングの計算パイプライン並列のバブルの計算学習FLOPsの計算学習率ウォームアップの計算計算最適なモデルサイズ計算予算から求めるエポック数勾配累積のメモリ計算実効バッチサイズの計算ハードウェア・メモリ KVキャッシュサイズの計算LLM推論のVRAM計算MoE のアクティブパラメータ数を計算Transformerのパラメータ数の計算アテンションメモリの計算モデルに必要なGPU台数の計算モデルのダウンロード時間の計算量子化によるモデルサイズの計算RAG・埋め込み RAGチャンク分割の設計評価 A/Bテスト有意性の計算LLM評価のサンプルサイズの計算pass@k の計算パープレキシティの計算すべてのツール コサイン類似度の計算 この計算機は役に立ちましたか？ 役に立った 改善が必要 改善が必要 どのような点が改善されると良いですか？ フィードバックを送信 Powered by OneCalc ↗
最終更新: 2026-06-22 推論レイテンシ 推論レイテンシとは、言語モデルが回答するまで利用者が待つ時間である。ストリーミング応答では、文字が現れる前の初期の間と、その後に続くトークンの一定のリズムという2つの異なる部分に分かれる。この計算では、両者と回答の長さを組み合わせて、応答完了までの時間と、1つのリクエストが実際に体感するスループットを見積もる。 最初のトークンまでの時間とトークンあたりの生成時間 ストリーミングのエンドポイントは2つの測定値で説明できる。最初のトークンまでの時間（tttftt_{ttft}）は、リクエストを送ってから最初のトークンが見えるまでの遅延である。これはプロンプトの読み込み、すべてのプロンプトトークンに対するアテンションのキャッシュ構築という計算律速のプリフィル段階、そして一つのトークンの復号を含む。長いプロンプトほどこの時間は伸びる。トークンあたりの生成時間（ttpott_{tpot}、トークン間レイテンシとも呼ぶ）は、復号段階で後続の各トークンが現れる間隔である。復号はメモリ帯域幅律速であり、新しいトークンごとにモデルの全重みを一度読み込むため、この値はほぼ一定に保たれ、その逆数が毎秒あたりのトークン数で表した定常生成速度になる。 計算式 最初のトークンは最初のトークンまでの時間にすでに含まれているため、残りの各トークンがトークン間の間隔を1つずつ加える。 T=tttft+(Nout−1) ttpotv=NoutT\begin{aligned} T &= t_{ttft} + (N_{out} - 1)\, t_{tpot} \\ v &= \frac{N_{out}}{T} \end{aligned}Tv=tttft+(Nout−1)ttpot=TNout ここで NoutN_{out} は出力トークン数、TT は応答完了までの時間、vv は全体スループットである。1を引く項によってトークン数が厳密になるが、長い回答では結果はほとんど変わらない。 計算例 あるエンドポイントが最初のトークンまでの時間 200 ms、トークンあたりの生成時間 20 ms（毎秒50トークンの定常生成速度に相当）を報告し、モデルが500トークンの回答を生成するとする。 T=0.2+(500−1)×0.02=0.2+9.98=10.18 sv=50010.18≈49.1 tokens/s\begin{aligned} T &= 0.2 + (500 - 1)\times 0.02 \\ &= 0.2 + 9.98 = 10.18\ \text{s} \\ v &= \frac{500}{10.18} \approx 49.1\ \text{tokens/s} \end{aligned}Tv=0.2+(500−1)×0.02=0.2+9.98=10.18 s=10.18500≈49.1 tokens/s 回答にはおよそ10秒かかり、全体スループット毎秒49.1トークンは純粋な毎秒50トークンをわずかに下回る。これは固定の初期待ち時間が応答全体に分散されるためである。両者の差は回答が長くなるほど縮まり、起動の間が支配的になる短い回答では広がる。 レイテンシを下げる 最初のトークンまでの時間は、プロンプトの短縮、プロンプトキャッシュ、プリフィルの速いハードウェアに反応する。トークンあたりの生成時間は、メモリ帯域幅の向上、量子化、そしてモデルの1回の順伝播で複数のトークンを出力する投機的デコーディングなどの手法に反応する。総時間は生成トークンごとに増えるため、対話的なアプリケーションでは最大出力長に上限を設けることが最も直接的な手段になることが多い。ドラフトモデルの受理率がトークンあたりの値をどう変えるかは投機的デコーディングの高速化の計算を、フリート全体の処理能力を見積もるには実効トークン毎秒の計算を参照されたい。 よくある質問 (FAQ)最初のトークンまでの時間とトークンあたりの生成時間はどう違いますか最初のトークンまでの時間（TTFT）は、モデルがプロンプト全体を読み込み、アテンションのキャッシュを構築し、最初のトークンを出力するまでの初期待ち時間を表します。トークンあたりの生成時間（TPOT、またはトークン間レイテンシ）は、その後の安定した生成ペースを表し、新しいトークンごとに1回の復号ステップだけで済みます。TTFTはプロンプト長に応じて増え、計算負荷の高いプリフィル段階が支配的です。一方TPOTは復号時のメモリ帯域幅で決まり、トークンあたりはほぼ一定に保たれます。 計算式で出力トークン数から1を引くのはなぜですか最初のトークンは最初のトークンまでの時間にすでに含まれているため、トークン間の待ち時間が加わるのは残りのトークンだけです。500トークンの回答であれば、最初のトークンの後に499回のトークン間の間隔が加わります。長い回答ではトークン数で掛けた場合と、トークン数から1を引いた場合の差はわずかですが、1を引く形が厳密です。 サービングのレイテンシはどのように下げられますか最初のトークンまでの時間は、プロンプトの短縮、プロンプトキャッシュ、プリフィルの速いハードウェアで下がります。トークンあたりの生成時間は、メモリ帯域幅の向上、量子化、投機的デコーディングなどで下がります。総時間は生成トークンごとに増えるため、最大出力長に上限を設けることが最も単純な手段になることが多いです。 免責事項 この計算結果は、トークンあたりのレイテンシが一定で中断のない単一ストリームを前提としています。実際のサービングシステムはバッチ処理、待ち行列、ネットワーク転送、負荷によって変動するため、サービス品質の保証ではなく計画段階の目安として扱ってください。
