最後更新：2026-06-22

訓練時間與成本

訓練大型語言模型是一份分散到加速器叢集上的固定算術工作量，因此只要工作量與硬體確定，耗時與帳單都可預估。本計算由總訓練 FLOPs、GPU 數量、每張 GPU 的峰值吞吐量、模型 FLOPs 使用率與每小時租金，估算一次訓練的實際耗時與 GPU 時數成本。

此估算涵蓋的範圍

訓練的浮點運算總量可用單一數量良好近似，常寫作六倍的參數量乘以訓練詞元數。此總量一旦確定，唯一能改變排程的，就是叢集消化它的速度。叢集的維持速率，是各加速器峰值速率之和乘以實際使用比例，即模型 FLOPs 使用率。以此速率去除工作量得出時間，再以時間乘以 GPU 數量與每小時租金得出成本。

計算公式

設工作量 $C$ 以 FLOPs 計，$n$ 張加速器各標稱 $P$ TFLOP/s，使用率為 $U$，每張 GPU 每小時租金為 $c$，則訓練時間 $t$ 與總成本 $T$ 為

$10^{12}$ 係數將 TFLOP/s 換算為 FLOP/s，因此 $t$ 以秒為單位；除以 3600 再化為 GPU 時數以供計價。GPU 數量加倍會使時間減半，但 GPU 時數成本不變，因為同樣的工作量只是更早完成。

計算範例

取一次 $5.88 \times 10^{23}$ FLOPs 的訓練，使用 1,024 張各標稱 989 TFLOP/s 的加速器，維持 40% 使用率，每張 GPU 每小時租金 2.50：

此次訓練約需十七天，GPU 租金略高於一百萬。將使用率從 40% 提高到 50%，時間與成本都會減少五分之一，這也是為何把同一硬體榨出更多效能，是成本最低的最佳化手段。

適用限制

此估算假設訓練受算力限制，且使用率數值已對整份工作取平均。它不計入檢查點寫入、資料載入停頓、硬體故障後的重啟、評估傳遞，以及保留資源卻未運算的閒置時間。網路、儲存，以及競價與保留價格的差異，也都會改變實際總額。請將結果視為規劃用的基準，並為額外開銷預留餘裕。餵入本計算的工作量總量由 訓練 FLOPs 計算推導，而帳單中純粹的租用部分則由 GPU 雲端成本計算機計算。