最後更新：2026-06-22

什麼是批次 API 節省

批次 API 節省，是將語言模型工作負載透過供應商的非同步批次端點提交（而非透過同步端點）所帶來的成本減幅。批次 API 接收一組請求，在所述的完成時間窗內處理，而非同步回傳，由於供應商能在其容量間彈性排程此工作，便以固定折扣為此處理量計費。節省即為同步成本與折扣後批次成本之間的差距。

運作方式

同步成本結合輸入與輸出詞元各自的每百萬費率。設 $n_{\text{in}}$ 與 $n_{\text{out}}$ 個詞元，價格為每百萬 $p_{\text{in}}$ 與 $p_{\text{out}}$：

批次折扣 $d$ 是自整份成本中扣除的固定比例，涵蓋輸入與輸出：

由於折扣是固定的，節省與工作負載的規模及折扣費率直接成正比。

範例計算

取一個含 1,000,000 個輸入詞元與 200,000 個輸出詞元的工作負載，價格為每百萬輸入 $3、每百萬輸出 $15，批次折扣為 50%。同步成本為：

批次成本為其一半：

因此節省為 \6 - $3 = $3$，減幅 50$3），因為較高的輸出價格抵銷了較小的輸出量。

變化

折扣均勻套用，因此金額節省與帳單成正比成長：在相同折扣下，規模大十倍的工作負載可節省十倍。由於輸出的計費高於輸入，在相同詞元數下，以回覆為主的批次帶有較大的絕對節省。關鍵的限制在於延遲。批次處理是非同步的，結果會在供應商的完成時間窗內送達，而非同步回傳，因此它適合不需要同步回應的工作：大量分類、摘要、評估執行或離線內容生成。互動式、面向使用者的請求並不適合。

應用

批次節省是一個離線處理量的槓桿，在工作負載的詞元量已知後套用。同步與批次成本皆可作為 詞元成本計算機 與 LLM 每月成本計算機 中較廣估計的依據。批次與快取是可在同一作業上疊加的獨立折扣；重複前綴帶來的輸入折扣請參閱 提示快取節省計算機，而要將每百萬費率解讀為每單位支出詞元數請參閱 每元詞元數計算機。