最終更新: 2026-06-22

pass@k

pass@k は、候補の回答を自動で検査できるタスク、最も有名にはコード生成において、言語モデルを採点する標準的な方法である。コード生成では各試行はテストスイートに通るか通らないかのいずれかである。1つの回答が正しいかを問うのではなく、pass@k はk回の試行のいずれかが正しいかを問う。この計算は、モデルの1サンプルあたりの成功率を pass@k に変換し、1回測定した精度を任意の試行回数へ外挿できるようにする。

pass@k が測るもの

ベンチマークの各問題に対し、モデルはk個の独立した候補解を生成し、少なくとも1つの候補が通れば問題は解けたと数える。pass@k はその規則のもとで解けた問題の割合である。pass@1 は通常の1回限りの精度であり、pass@10 と pass@100 は何回か試した場合にモデルがどれだけの頻度で正解に達せるかを測る。この指標は、テストスイート、コンパイラ、証明検査器といった外部の検証器が多数の候補の中から正解を認識できる場面でこそ意味を持つ。そのとき追加の試行は、解けた問題の増加に直接つながるからである。

計算式

各サンプルが独立に確率 $p$ で成功するなら、一つのサンプルが失敗する確率は一から $p$ を引いた値であり、$k$ 個のサンプルすべてが失敗する確率は $(1-p)^k$ である。pass@k はその余事象である。

ここで $P_k$ が pass@k、$q_k$ がすべての試行が失敗する確率である。全失敗確率は $k$ とともに等比的に小さくなる。これが、控えめな1サンプルあたりの成功率でも、十分な試行回数があれば確実性へと上っていく理由である。

計算例

あるモデルが1回の試行でコーディング問題を40%の確率で解き、評価が10サンプルを許す場合を考える。

1サンプルあたり40%の成功率が、pass@10 ではおよそ99%になる。この跳ね上がりは、pass@k の値がkとともになぜこれほど速く上がるか、そしてベンチマークの表がなぜkの複数の値を並べて報告するかを示している。その曲線の形は、単一の点よりもモデルについて多くを物語る。

どう測定されるか

ちょうどk個のサンプルを引いて pass@k を推定するとノイズが大きい。HumanEval などのベンチマークは代わりに、より大きな母集団の $n$ サンプルを引き、成功した $c$ 個を数え、不偏推定量 $P_k = 1 - \binom{n-c}{k} / \binom{n}{k}$ を用いて、$n$ 個から $k$ 個を選ぶあらゆる組み合わせにわたって平均する。ここで用いる独立形は、$p$ を $c/n$ ととったときその推定量と一致し、既知の成功率を選んだ試行予算へ外挿する正しい道具である。この形はサンプル間で成功が等しく独立であることを仮定する。極めて低い温度ではサンプルがほぼ同一になり、追加してもほとんど効果がない。評価が安定した推定を得るために何問必要かを計画するには、LLM評価のサンプルサイズの計算を参照されたい。