最後更新：2026-06-22

什麼是提示快取節省

提示快取節省，是因部分提示自快取提供而降低語言模型呼叫輸入成本的減幅。當一段穩定的前綴（系統提示、工具定義或共用情境）跨呼叫重複出現時，供應商會儲存其已處理形式，並對這些詞元後續的讀取以較低費率計費。節省即為未使用快取時的輸入成本，與快取部分折扣後的輸入成本之間的差距。

運作方式

設 $n$ 為總輸入詞元，$f$ 為自快取提供的比例，$p$ 為每百萬的標準輸入價格，$d$ 為快取折扣（快取讀取時自費率扣除的比例）。未快取的基準將每個詞元以完整費率計費：

使用快取時，未快取的部分 n(1-f) 以完整費率計費，快取的部分 $nf$ 則以折扣費率 p(1-d) 計費：

節省為兩者之差，節省率為該差額除以基準：

範例計算

取一次 10,000 個輸入詞元的呼叫，其中 70% 已快取，標準輸入價格為每百萬 $3，快取折扣為 90%。未快取的基準為：

3,000 個未快取詞元的成本為 0.003 \cdot 3 = \0.009。7,000 個快取詞元以費率的 10% 計費，0.007 \cdot 3 \cdot 0.1 = $0.0021$，因此快取成本為$$0.009 + $0.0021 = $0.0111$。節省為：

即輸入成本降低 $0.0189 / 0.03 = 63\%$。每次呼叫的數字很小，但它隨呼叫量放大，一個含一百萬次此類呼叫的工作負載可節省約 $18,900。

變化

節省隨快取比例與折扣兩者上升。較高的比例 f（由較大的穩定前綴驅動）將更多詞元移至折扣費率，而較陡的折扣 d 則加大兩種費率間的差距。當 f = 1 且 d = 0.9 時，輸入成本降低完整的 90%。當提示中重複的部分不多，或重複落在快取視窗之外時，f 很小，減幅也有限。快取僅適用於輸入詞元；輸出詞元無論如何皆以標準費率計費。

應用

提示快取對在每一輪重新送出大量固定情境的代理人與聊天系統最為有效，其中重複的前綴主導了輸入。快取後成本可作為 詞元成本計算機 與 LLM 每月成本計算機 中每次呼叫與每月估計的依據。快取與批次處理是可套用於同一工作負載的獨立折扣；非同步的替代方案請參閱 批次 API 節省計算機，而要將底層價格解讀為購買力請參閱 每元詞元數計算機。