最終更新: 2026-06-22

バッチAPIの節約額とは

バッチAPIの節約額とは、言語モデルのワークロードをリアルタイムのエンドポイントの代わりにプロバイダーの非同期バッチエンドポイントへ投入することで生じるコスト削減です。バッチAPIは複数のリクエストをまとめて受け付け、即時ではなく定められた完了期間内に処理します。プロバイダーは作業を自社の処理能力に合わせて柔軟にスケジュールできるため、その処理能力を一律の割引で課金します。節約額は、リアルタイムのコストと割引後のバッチコストとの差です。

仕組み

リアルタイムのコストは、入力トークンと出力トークンをそれぞれの100万トークンあたり単価で合わせたものです。トークン数を $n_{\text{in}}$ と $n_{\text{out}}$、単価を $p_{\text{in}}$ と $p_{\text{out}}$ 毎100万トークンとすると、次のとおりです。

バッチ割引 $d$ は、入力と出力の両方を含むそのコスト全体から差し引かれる一律の割合です。

割引が一律であるため、節約額はワークロードの規模と割引率に直接比例して拡大します。

計算例

入力1,000,000トークン、出力200,000トークンのワークロードを、入力$3毎100万トークン、出力$15毎100万トークンで、50%のバッチ割引のもとで処理する場合を考えます。リアルタイムのコストは次のとおりです。

バッチコストはその半分です。

したがって節約額は \6 - $3 = $3$、50$3で等しくなっています。出力単価が高い分、出力量が少ないことを相殺しているためです。

変動要因

割引は一律に適用されるため、金額の節約は請求額に比例して増えます。10倍大きいワークロードは、同じ割引で10倍の節約になります。出力は入力より高く課金されるため、同じトークン数なら出力の多いバッチほど絶対額の節約が大きくなります。主な制約は遅延です。バッチ処理は非同期であり、結果は同期的にではなくプロバイダーの完了期間内に届くため、即時の応答を必要としない作業に適します。大量の分類、要約、評価の実行、オフラインのコンテンツ生成などです。対話型のユーザー向けリクエストには適しません。

活用

バッチの節約額は、ワークロードのトークン量が判明した後に適用するオフラインの処理能力の手段です。リアルタイムとバッチの両方のコストは、トークンコスト計算 と LLM月額コストの計算 におけるより広い見積もりに反映されます。バッチとキャッシュは同じジョブに重ねられる独立した割引です。繰り返される前半部分による入力の割引については プロンプトキャッシュの節約額の計算 を、100万トークンあたりの単価を支出単位あたりのトークン数として読み取るには 1ドルあたりトークン数の計算 を参照してください。