ホーム AI・LLM A/Bテスト有意性の計算 作成日: 2026年7月20日 21:33 A/Bテスト有意性の計算 入力 勝ち数（A）540試行数（A）1,000勝ち数（B）590試行数（B）1,000 AI・LLM A/Bテスト有意性の計算 あるプロンプトやモデルが別のものに本当に勝るかを検定する。各バリアントの勝ち数と試行数を入力すると、勝率、2標本比率のz検定、p値、検出力に必要な試行数が得られる。 入力 バリアントA 勝ち数（A） バリアントAが勝った試行数、すなわち通過したケース、好まれた応答、または正解の数。Aの試行数を超えてはなりません。 試行数（A） ≥ 1 バリアントAで実施した試行の総数。各試行は1回の独立した検定で、例えば評価された1つのプロンプトや判定された1つのタスクです。 バリアントB 勝ち数（B） バリアントAと同種のタスクで、バリアントBが勝った試行数。Bの試行数を超えてはなりません。 試行数（B） ≥ 1 バリアントBで実施した試行の総数。2つのバリアントの試行数は同じである必要はなく、この検定は不均等な規模を考慮します。 結果 値を入力すると計算結果が表示されます。 p値 2つのバリアントが本当に等しいとした場合に、これほど大きな差が見られる確率（...）です。0.05を下回ると、実際の差があると判断する慣例的な閾値です。 not_significant 詳細 勝率A % バリアントAの勝率で、1,000試行中540（...）です。比較の基準となる値です。 勝率B % バリアントBの勝率で、1,000試行中590（...）です。Aと比較される挑戦側です。 z統計量 2つの勝率がプールされた標準誤差の何個分離れているか（...）です。両側検定でおよそ±1.96を超えると、5%水準でその差は有意です。 共有 レポートを印刷 リセット 埋め込み この計算機を埋め込む プレビュー このコードをページに貼り付けると計算機を表示できます。 コードをコピー この計算を共有 このリンクを開くと、入力した値がそのまま表示されます。 リンクをコピー 共有する XFacebookLINE メール 最終更新: 2026-06-22 A/Bテストの有意性 プロンプトを変えたり、モデルを入れ替えたり、復号の設定を調整したりすると、新しい版はいくつかの例で勝ち、別の例で負けるのが普通である。問題は、測定された差が本当の改善を反映しているのか、それともたまたまどの例を検定したかという運によるものなのか、である。この計算は2つの勝率に2標本比率のz検定を適用し、勝率、検定統計量、p値、そして信頼できる比較に必要な試行数を報告する。 2つの勝率を比較する 各バリアントは勝率、すなわち勝ち数を試行数で割った値で要約される。ここで「勝ち」とは成功とみなされるもの、すなわち通過したテスト、一対比較で好まれた応答、正解などである。有限の標本で測定された2つの勝率は、たとえバリアントが同一でもほぼ決して厳密には等しくならない。そこでこの検定は、両者がそれぞれの推定の雑音に対してどれだけ離れているかを問う。 計算式 この検定は2つの標本をプールして共通の率を推定し、それを用いて差の標準誤差を計算し、割り算する。 pˉ=wa+wbna+nbz=pb−papˉ(1−pˉ)(1na+1nb)P=2(1−Φ(∣z∣))\begin{aligned} \bar{p} &= \frac{w_a + w_b}{n_a + n_b} \\ z &= \frac{p_b - p_a}{\sqrt{\bar{p}(1 - \bar{p})\left(\frac{1}{n_a} + \frac{1}{n_b}\right)}} \\ P &= 2\bigl(1 - \Phi(|z|)\bigr) \end{aligned}pˉzP=na+nbwa+wb=pˉ(1−pˉ)(na1+nb1)pb−pa=2(1−Φ(∣z∣)) ここで pap_a と pbp_b は勝率、pˉ\bar{p} はプールされた率、zz は両者が標準誤差の何個分離れているか、Φ\Phi は標準正規の累積分布、PP は両側p値である。zz の大きさがおよそ1.96を超えると、5%の有意水準の閾値を示す。 計算例 プロンプトAが判定された1,000タスクのうち540で勝ち、プロンプトBが1,000のうち590で勝つとする。 pˉ=540+5902000=0.565z=0.59−0.540.565×0.435×(0.001+0.001)=0.050.0222≈2.26P≈0.024\begin{aligned} \bar{p} &= \frac{540 + 590}{2000} = 0.565 \\ z &= \frac{0.59 - 0.54}{\sqrt{0.565 \times 0.435 \times (0.001 + 0.001)}} = \frac{0.05}{0.0222} \approx 2.26 \\ P &\approx 0.024 \end{aligned}pˉzP=2000540+590=0.565=0.565×0.435×(0.001+0.001)0.59−0.54=0.02220.05≈2.26≈0.024 5ポイントの差は1.96の閾値を超え、p値はおよそ0.024で0.05を下回るため、差は統計的に有意である。偶然は起こりにくい説明である。計画の値は、この大きさの差を確実に検出する（95%の信頼水準・80%の検出力）にはバリアントあたりおよそ1,538試行を要することを示しており、ここでの1,000試行は結果を余裕を持ってではなく、ちょうど線を超える位置に置いている。 結果を慎重に読む 有意性は重要性ではない。ごくわずかで取るに足らない差も十分な試行があれば有意になりうるし、意味のある差も試行が少なすぎれば有意性を逃しうる。この検定はまた、試行が独立であることと単一の比較であることを仮定する。多数のバリアントを同時に評価すること、あるいはデータが少しずつ集まる中で結果を繰り返し確認することは、いずれも偽陽性を増やし、調整を必要とする。評価を実施する前にその規模を決めるにはLLM評価のサンプルサイズの計算を、サンプリングして検査するコード指標にはpass@k の計算を参照されたい。 よくある質問 (FAQ)ここでの統計的有意性とは何を意味しますか2つの勝率の観測された差が、バリアントが実際には等しい場合に偶然から日常的に生じる程度よりも大きいかどうかを問うものです。2標本比率のz検定は、2つの勝率をプールし、その差の標準誤差を推定し、両者が標準誤差の何個分離れているかを報告します。p値は、実際の差がないという仮定のもとで、これ以上大きい差が生じる確率です。p値が小さい、慣例的には0.05未満であれば、偶然は起こりにくい説明であり、その差は有意と呼ばれます。これは差がどれだけ大きいか重要かを測るものではなく、どれだけ確信を持って雑音から区別できるかだけを測ります。 試行は何回必要ですか雑音に惑わされずに、気にする差を検出できるだけの回数です。この計算は、観測された差を95%の信頼水準・80%の検出力という標準的な計画目標で検出するのに必要なバリアントあたりの試行数を報告します。真の差が小さいほどはるかに多くの試行が必要です。その差は、サンプルサイズの平方根でしか縮まない標準誤差を超えなければならないためです。現在の試行数が表示された値を大きく下回る場合、有意でない結果は、バリアントが本当に等しいというよりも単にデータが少なすぎることを反映しているのかもしれません。 これは片側検定ですか両側検定ですか両側検定です。p値はどちらの方向であれこれほど大きな差が生じる確率を反映します。これはどちらのバリアントが勝つかを事前に決めていなかった場合に適切な既定です。片側検定は方向を事前に固定したときにのみ用い、p値を半分にしますが、予想外の方向にある本当の効果を見逃す危険があります。事前の取り決めなしにプロンプトやモデルを比較する場合は、両側検定が安全な選択です。 免責事項 この検定は試行が独立であることを仮定し、正規近似を用います。これは各バリアントに勝ちと負けがそれぞれ少なくとも数件あるときに信頼できます。多数のバリアントを同時に検定することや結果を繰り返しのぞき見することは調整しておらず、いずれも偽陽性を増やします。証明ではなく証拠として扱い、可能な限り比較を事前登録してください。 次のおすすめ LLM評価のサンプルサイズの計算 比率に対する標準的なサンプルサイズの式を用い、モデル評価で目標とする誤差の範囲内に精度を収めるのに何件の例が必要かを求める。 詳しく解説pass@k の計算 コードや推論の評価における pass@k を計算する。1サンプルあたりの成功率から、独立したk個のモデルサンプルのうち少なくとも1つが問題を解く確率を求める。 詳しく解説 200+ ツール · 10 言語対応 · 完全無料 評価の他の計算 A/Bテスト有意性の計算LLM評価のサンプルサイズの計算pass@k の計算パープレキシティの計算 AI・LLMの他のカテゴリ コスト・料金 1ドルあたりトークン数の計算GPU クラウド費用を計算GPU利用率コストの計算LLMファインチューニング費用の計算LLMレート制限の計画LLM学習のカーボンフットプリントの計算LLM学習時間とコストの計算LLM月額コストの計算エージェントコストの計算コンテキストコストの増加の計算コンテキスト長の判定システムプロンプトの償却コストトークンから単語数への変換トークンコスト計算バッチAPIの節約額の計算プロンプトキャッシュの節約額の計算ベクトルDBコストの計算ベクトルDBサイズの計算音声合成コストの計算音声文字起こしコストの計算画像生成コストの計算関数呼び出しのトークンオーバーヘッド構造化出力のトークンオーバーヘッド自己ホストとAPIの損益分岐の計算推論エネルギーコストの計算埋め込みコストの計算推論・サービング トークンあたりFLOPsの計算バッチ推論スループットの計算モデルFLOPs利用率の計算画像入力トークン数の計算実効トークン毎秒の計算推論スループットの計算推論レイテンシの計算投機的デコーディングの高速化の計算学習・スケーリング Chinchilla最適トークン数LLMトレーニングVRAMの計算LoRA の学習パラメータ数を計算データセットのトークン数の計算データ並列スケーリングの計算パイプライン並列のバブルの計算学習FLOPsの計算学習率ウォームアップの計算計算最適なモデルサイズ計算予算から求めるエポック数勾配累積のメモリ計算実効バッチサイズの計算ハードウェア・メモリ KVキャッシュサイズの計算LLM推論のVRAM計算MoE のアクティブパラメータ数を計算Transformerのパラメータ数の計算アテンションメモリの計算モデルに必要なGPU台数の計算モデルのダウンロード時間の計算量子化によるモデルサイズの計算RAG・埋め込み RAGチャンク分割の設計すべてのツール コサイン類似度の計算 この計算機は役に立ちましたか？ 役に立った 改善が必要 改善が必要 どのような点が改善されると良いですか？ フィードバックを送信 Powered by OneCalc ↗
最終更新: 2026-06-22 A/Bテストの有意性 プロンプトを変えたり、モデルを入れ替えたり、復号の設定を調整したりすると、新しい版はいくつかの例で勝ち、別の例で負けるのが普通である。問題は、測定された差が本当の改善を反映しているのか、それともたまたまどの例を検定したかという運によるものなのか、である。この計算は2つの勝率に2標本比率のz検定を適用し、勝率、検定統計量、p値、そして信頼できる比較に必要な試行数を報告する。 2つの勝率を比較する 各バリアントは勝率、すなわち勝ち数を試行数で割った値で要約される。ここで「勝ち」とは成功とみなされるもの、すなわち通過したテスト、一対比較で好まれた応答、正解などである。有限の標本で測定された2つの勝率は、たとえバリアントが同一でもほぼ決して厳密には等しくならない。そこでこの検定は、両者がそれぞれの推定の雑音に対してどれだけ離れているかを問う。 計算式 この検定は2つの標本をプールして共通の率を推定し、それを用いて差の標準誤差を計算し、割り算する。 pˉ=wa+wbna+nbz=pb−papˉ(1−pˉ)(1na+1nb)P=2(1−Φ(∣z∣))\begin{aligned} \bar{p} &= \frac{w_a + w_b}{n_a + n_b} \\ z &= \frac{p_b - p_a}{\sqrt{\bar{p}(1 - \bar{p})\left(\frac{1}{n_a} + \frac{1}{n_b}\right)}} \\ P &= 2\bigl(1 - \Phi(|z|)\bigr) \end{aligned}pˉzP=na+nbwa+wb=pˉ(1−pˉ)(na1+nb1)pb−pa=2(1−Φ(∣z∣)) ここで pap_a と pbp_b は勝率、pˉ\bar{p} はプールされた率、zz は両者が標準誤差の何個分離れているか、Φ\Phi は標準正規の累積分布、PP は両側p値である。zz の大きさがおよそ1.96を超えると、5%の有意水準の閾値を示す。 計算例 プロンプトAが判定された1,000タスクのうち540で勝ち、プロンプトBが1,000のうち590で勝つとする。 pˉ=540+5902000=0.565z=0.59−0.540.565×0.435×(0.001+0.001)=0.050.0222≈2.26P≈0.024\begin{aligned} \bar{p} &= \frac{540 + 590}{2000} = 0.565 \\ z &= \frac{0.59 - 0.54}{\sqrt{0.565 \times 0.435 \times (0.001 + 0.001)}} = \frac{0.05}{0.0222} \approx 2.26 \\ P &\approx 0.024 \end{aligned}pˉzP=2000540+590=0.565=0.565×0.435×(0.001+0.001)0.59−0.54=0.02220.05≈2.26≈0.024 5ポイントの差は1.96の閾値を超え、p値はおよそ0.024で0.05を下回るため、差は統計的に有意である。偶然は起こりにくい説明である。計画の値は、この大きさの差を確実に検出する（95%の信頼水準・80%の検出力）にはバリアントあたりおよそ1,538試行を要することを示しており、ここでの1,000試行は結果を余裕を持ってではなく、ちょうど線を超える位置に置いている。 結果を慎重に読む 有意性は重要性ではない。ごくわずかで取るに足らない差も十分な試行があれば有意になりうるし、意味のある差も試行が少なすぎれば有意性を逃しうる。この検定はまた、試行が独立であることと単一の比較であることを仮定する。多数のバリアントを同時に評価すること、あるいはデータが少しずつ集まる中で結果を繰り返し確認することは、いずれも偽陽性を増やし、調整を必要とする。評価を実施する前にその規模を決めるにはLLM評価のサンプルサイズの計算を、サンプリングして検査するコード指標にはpass@k の計算を参照されたい。 よくある質問 (FAQ)ここでの統計的有意性とは何を意味しますか2つの勝率の観測された差が、バリアントが実際には等しい場合に偶然から日常的に生じる程度よりも大きいかどうかを問うものです。2標本比率のz検定は、2つの勝率をプールし、その差の標準誤差を推定し、両者が標準誤差の何個分離れているかを報告します。p値は、実際の差がないという仮定のもとで、これ以上大きい差が生じる確率です。p値が小さい、慣例的には0.05未満であれば、偶然は起こりにくい説明であり、その差は有意と呼ばれます。これは差がどれだけ大きいか重要かを測るものではなく、どれだけ確信を持って雑音から区別できるかだけを測ります。 試行は何回必要ですか雑音に惑わされずに、気にする差を検出できるだけの回数です。この計算は、観測された差を95%の信頼水準・80%の検出力という標準的な計画目標で検出するのに必要なバリアントあたりの試行数を報告します。真の差が小さいほどはるかに多くの試行が必要です。その差は、サンプルサイズの平方根でしか縮まない標準誤差を超えなければならないためです。現在の試行数が表示された値を大きく下回る場合、有意でない結果は、バリアントが本当に等しいというよりも単にデータが少なすぎることを反映しているのかもしれません。 これは片側検定ですか両側検定ですか両側検定です。p値はどちらの方向であれこれほど大きな差が生じる確率を反映します。これはどちらのバリアントが勝つかを事前に決めていなかった場合に適切な既定です。片側検定は方向を事前に固定したときにのみ用い、p値を半分にしますが、予想外の方向にある本当の効果を見逃す危険があります。事前の取り決めなしにプロンプトやモデルを比較する場合は、両側検定が安全な選択です。 免責事項 この検定は試行が独立であることを仮定し、正規近似を用います。これは各バリアントに勝ちと負けがそれぞれ少なくとも数件あるときに信頼できます。多数のバリアントを同時に検定することや結果を繰り返しのぞき見することは調整しておらず、いずれも偽陽性を増やします。証明ではなく証拠として扱い、可能な限り比較を事前登録してください。
