最終更新: 2026-06-22

パープレキシティ

パープレキシティは、言語モデルがテキストをどれだけよく予測するかを測る、最も広く使われる内在指標である。モデルの平均的な不確実性を、直感的に読める1つの数値にまとめる。すなわち、各トークンでモデルがおよそ何個の等確率の選択肢を天秤にかけているか、である。この計算は、学習フレームワークが報告するクロスエントロピー損失を、パープレキシティとトークンあたりビット数に変換する。

損失からパープレキシティへ

言語モデルがホールドアウトテキストを読むとき、実際の各次トークンに確率を割り当てる。クロスエントロピー損失はそれらの確率の負対数の平均であり、自信を持って正しいモデルは低い損失を、驚いたモデルは高い損失を得る。パープレキシティは単にその平均の指数である。

ここで $L$ はトークンあたりの損失（ナット単位）、$H_2$ はトークンあたりビット数で表した等価量である。指数をとることで損失の内側の対数を打ち消し、加法的な量を乗法的な「実効語彙サイズ」に変える。完全なモデルはすべての正しいトークンに確率1を割り当て、損失0、パープレキシティ1、すなわち不確実性ゼロになる。

計算例

あるモデルがホールドアウトのクロスエントロピー損失2.0ナットを報告するとする。

パープレキシティおよそ7.4は、テキスト全体で平均すると、モデルがおよそ7個か8個の等確率のトークンから一様に選んでいるのと同じだけ不確実であることを意味する。トークンあたりビット数は圧縮に結びつく。このモデルを用いる理想的な符号器は各トークンを符号化するのにおよそ2.9ビットを要するため、パープレキシティの低いモデルは同じテキストをより緻密に圧縮できる。

パープレキシティの読み方と比較

パープレキシティが低いほど予測が良いが、この数値はトークナイザーと評価セットを固定した範囲内でのみ意味を持つ。トークンあたりで測定されるため、テキストをより多く小さいトークンに分割するモデルは、語彙が粗いモデルと同じ文章でも、たとえ根底の品質が等しくても異なるパープレキシティを報告する。比較はトークナイザーとテストテキストが同一のとき妥当であり、それ以外では誤解を招く。パープレキシティは、モデルが指示に従えるか推論できるかについては何も語らない。それらにはタスクベースの評価が用いられる。そうした評価に何件の例が必要かを計画するにはLLM評価のサンプルサイズの計算を、コード生成の採点にはpass@k の計算を参照されたい。