最後更新：2026-06-22

什麼是 LLM 速率限制規劃

LLM 速率限制規劃是判定供應商 API 限制對某工作負載所允許之可持續請求速率，以及其隱含的進行中並行數的過程。託管推論 API 在兩個獨立的軸上限制處理量：每分鐘詞元數（TPM），即帳戶每分鐘可處理的詞元數，輸入加輸出；以及每分鐘請求數（RPM），即每分鐘允許的 API 呼叫次數，與其大小無關。較先觸及的上限設定了天花板。

哪一個限制成為制約

具有平均每次呼叫詞元成本的工作負載，可將 TPM 上限換算為等效的請求上限。將每分鐘詞元預算除以每次請求耗用的詞元，即得僅詞元限制所允許的每分鐘請求數：

其中 $L_t$ 為 TPM 限制，$n$ 為每次請求詞元數。可持續速率為此詞元推導上限與明定的 RPM 上限 $L_r$ 中的較小者：

若 $R_t < L_r$，詞元限制成為制約；若 $R_t \ge L_r$，請求限制成為制約。詞元密集的工作（長情境、大量回覆）傾向受詞元制約；高頻率的小型呼叫傾向受請求制約。

以利特爾法則求並行數

每秒的可持續速率為 $R_s = R / 60$。利特爾法則是一個佇列理論結果，指出系統中物件的平均數量等於到達速率乘以每個物件在其中停留的平均時間，它將該速率與平均請求延遲 $t_L$ 換算為維持管線滿載所需並行執行的並行數 $C$：

範例計算

考慮 TPM 限制 $L_t = 2{,}000{,}000$、RPM 限制 $L_r = 10{,}000$，以及每次請求平均 n = 2{,}000 個詞元。詞元推導上限為

由於 1{,}000 < 10{,}000，詞元限制成為制約：處理量上限為每分鐘 1,000 次請求，而非標稱的 10,000。在平均延遲 $t_L = 20$ 秒下，每秒速率為 $R_s = 1{,}000 / 60 \approx 16.7$，因此所需並行數為

維持此速率因此意味著同時保持約 333 個請求在進行中。由於工作負載受詞元制約，提高 RPM 上限無濟於事；減少每次請求的詞元（透過縮短提示、減少回覆，或 提示快取節省計算機），或申請更高的 TPM 配額，才有幫助。

變化與應用

當請求改為受請求制約時，在單次呼叫中批次處理多個項目可提升實際處理量，而精簡詞元則無濟於事。延遲僅透過利特爾法則進入：將 $t_L$ 加倍會使固定速率所需的並行數加倍，因此較快的模型可放寬連線池與佇列的大小設定。並行數可作為用戶端設定的依據，例如工作執行緒數、號誌限制與連線池，而可持續速率則透過 LLM 每月成本計算機 作為成本推算的依據。由於每次請求的詞元數會變動，且供應商可能進行佇列或突發處理，這些穩態數字是一個規劃基準，須對照實際流量加以驗證。