最後更新：2026-06-22

pass@k

pass@k 是在「候選答案可自動檢查」的任務上為語言模型評分的標準做法——最著名的就是程式碼生成，每次嘗試不是通過測試套件就是沒通過。pass@k 不問單一答案是否正確，而是問 k 次嘗試中是否有任何一次正確。本計算器將模型的單一樣本成功率換算為 pass@k，因此單一實測準確率便能推算到任意嘗試次數。

pass@k 衡量的是什麼

對基準中的每道問題，模型生成 k 個獨立的候選解答，只要至少一個候選通過，該問題就計為解出。pass@k 就是依此規則解出的問題比例。pass@1 是一般的單次嘗試準確率；pass@10 與 pass@100 則衡量模型在多次嘗試下能達到正確答案的頻率。每當有外部驗證器——測試套件、編譯器、證明檢查器——能從眾多候選中辨識出正確答案時，這項指標就重要，因為此時額外的嘗試會直接轉化為更多解出的問題。

公式

若每個樣本各自以機率 $p$ 獨立成功，則單一樣本失敗的機率為一減 $p$，而 $k$ 個樣本全數失敗的機率為 $(1-p)^k$。pass@k 即為其補數：

其中 $P_k$ 是 pass@k，$q_k$ 是每次嘗試都失敗的機率。全數失敗的機率隨 $k$ 以等比方式縮小，這正是為何即使單一樣本成功率不高，只要嘗試次數夠多，pass@k 也會逼近必然成功。

範例計算

假設某個模型在單次嘗試中解出某道程式設計題的機率為 40%，而評估允許 10 個樣本：

40% 的單一樣本成功率變成約 99% 的 pass@10。這一躍升說明了為何 pass@k 數值會隨 k 迅速攀升，也說明了為何基準測試表格會並列回報多個 k 值——那條曲線的形狀，比任何單一點更能描述一個模型。

如何測量

直接抽取恰好 k 個樣本來估計 pass@k 會有很大的雜訊。HumanEval 等基準改為抽取較大的 $n$ 個樣本池，計算其中成功的 $c$ 個，並使用不偏估計量 $P_k = 1 - \binom{n-c}{k} / \binom{n}{k}$，對從 $n$ 個樣本中選 $k$ 個的每一種方式取平均。當 $p$ 取為 $c/n$ 時，這裡採用的獨立形式與該估計量一致，最適合將已知成功率推算到指定的嘗試次數預算。該形式假設各樣本成功的機率相等且彼此獨立；在極低溫度下，樣本會幾乎相同，多抽幾個幫助甚微。若要規劃一項評估需要多少道問題才能得到穩定估計，請參考 LLM 評估樣本數計算器。