最後更新：2026-06-22

LLM 推論 VRAM

為大型語言模型提供服務，要先面對一個直接的問題：它放得進 GPU 嗎？答案主要由模型的權重決定，但光看權重會低估需求，因為推論伺服器還必須保存 KV 快取、流經各層的激活值，以及因碎片化而損失的一些記憶體。這個計算器從三個輸入估算總 VRAM——參數量、權重儲存的精度，以及把其餘部分整合成一個可調整數值的執行階段開銷。

權重決定下限

模型的權重是記憶體中最大的固定成本。每個參數以選定的精度儲存：完整的 16 bit 權重每個佔兩個位元組，8 bit 量化佔一個位元組，4 bit 則佔半個位元組。因此參數量 $N$（以十億計）、以 $b$ bit 儲存時，佔用

十億個 16 bit 參數剛好是 2 GB，這也是為什麼一個 7B 模型光是權重就需要 14 GB。把位元數除以八是把位元換算為位元組，而由於參數以十億計、記憶體以 GB 計，單位剛好對齊。

加上執行階段開銷

權重只是下限。推論期間，伺服器會保存一個 KV 快取，存放進行中每個 token 的注意力 key 與 value，並在每個請求流經各層時配置激活值，同時因碎片化損失一些記憶體。總量為

其中 $o$ 是以權重大小的比例表示的開銷。KV 快取是最大也最不固定的部分——它會隨上下文長度與並行請求數量增長——因此適當的開銷很大程度上取決於工作負載。對於批次規模適中的短提示，20% 是合理的起始值；長上下文、高吞吐量的服務則可能把它推得高出許多。

計算範例

以一個 7 十億參數的模型為例，以 16 bit 精度提供服務，開銷為 20%：

16.8 GB 的總量在 24 GB 的卡上綽綽有餘，但在 16 GB 的卡上就沒有空間了。要在較小的 GPU 上執行同一個模型，降到 8 bit 會把權重減半到 7 GB，使總量降至約 8.4 GB。模型大小與精度之間的關係，在 量化模型大小計算器 中有更深入的探討。

讓模型放得進去

由於記憶體與每權重的位元數直接成正比，量化是最直接的手段：16 bit 到 8 bit 把權重記憶體減半，8 bit 到 4 bit 再減半，通常只伴隨溫和且可接受的輸出品質損失。當連量化後的模型都超過單一加速器時，可選方案是把權重跨多張 GPU 分片，或把部分模型卸載到系統記憶體，但後者會付出很高的速度代價。估算一個模型需要多少加速器，由 GPU 數量需求計算機 處理。請把這裡的數值視為規劃用的估算，並以實際的服務執行加以驗證，因為框架、上下文長度與批次大小都會改變真正的數字。