最終更新: 2026-06-22

複数ターンのコストが増える理由

言語モデルのAPI呼び出しはステートレスで、モデルは呼び出し間で記憶を保持しません。そのため、モデルが一貫性を保つには、クライアントが毎回のリクエストでこれまでの会話をコンテキストとして再送する必要があります。再送されたその履歴は、その都度入力トークンとして課金されます。会話が長くなるにつれて、各ターンの入力はそれ以前のすべてのターンの蓄積された履歴を抱えるため、ターンあたりの入力が増え、累積の入力はターン数より速く増えていきます。

計算式

ターン数を $N$、毎ターン再送されるシステムプロンプトを $n_{sys}$、ターンごとに加わる新しい履歴（ユーザーメッセージと直前の応答）を $n_{turn}$、ターンあたりの出力を $n_{out}$ とします。$k$ ターン目の入力は $n_{sys} + (k-1)\,n_{turn}$ です。全ターンにわたって合計すると次のとおりです。

三角数の項 $\tfrac{N(N-1)}{2}$ は $N について2次であり、これが長い会話が1ターンから想定されるよりはるかに高くつく理由です。100万トークンあたりの単価を p_{in}$ と $p_{out}$ とすると次のとおりです。

計算例

N = 10 ターン、800トークンのシステムプロンプト、ターンごとに600の新規トークン、ターンあたり400の出力トークンを、入力$3毎100万トークン、出力$15毎100万トークンで処理する場合を考えます。

この会話のコストは約16.5セントです。履歴の項（27,000トークン）が、繰り返されるシステムプロンプトの8000トークンを大きく上回ります。入力の請求の大半は、固定の指示ではなく、増えていく記録の再送から生じています。

2次の効果

$T_{in}$ が $N^2$ に比例して増えるため、ターン数を2倍にすると入力コストは2倍ではなくおよそ4倍になります。上の例の20ターン版では $600 \cdot \tfrac{20 \cdot 19}{2} = 114{,}000$ の履歴トークンを再送することになり、10ターンでの27,000の4倍超です。この累積は履歴の全体を再送することの性質であり、トークンあたりの単価には依存しません。

軽減策

蓄積された履歴を支払う回数を減らすか、より低い単価で支払うことで増加は抑えられます。古いターンを要約または切り詰めると再送される履歴の量に上限を設けられ、プロンプトキャッシュは繰り返されるコンテキストをプロバイダーが割引単価で課金できるようにします。コンテキストの静的な部分をキャッシュすることによる節約は プロンプトキャッシュの節約額の計算 で見積もれます。コストが問題になる前に、増えていく記録がそもそもモデルに収まることを確認するには コンテキスト長の判定 を参照してください。