A/B-Test-Signifikanz-Rechner
Eingaben
| Gewinne (A) | 540 |
|---|---|
| Versuche (A) | 1.000 |
| Gewinne (B) | 590 |
| Versuche (B) | 1.000 |
A/B-Test-Signifikanz-Rechner
Prüfen Sie, ob ein Prompt oder Modell ein anderes tatsächlich übertrifft. Geben Sie Gewinne und Versuche je Variante ein und erhalten Sie die Gewinnraten, einen Zweistichproben-z-Test, den p-Wert sowie die für die Teststärke nötige Anzahl an Versuchen.
Eingaben
Variante A
Variante B
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
not_significant
Details
A/B-Test-Signifikanz
Wenn Sie einen Prompt ändern, ein Modell austauschen oder eine Decoding-Einstellung anpassen, gewinnt die neue Version meist bei einigen Beispielen und verliert bei anderen. Die Frage ist, ob der gemessene Unterschied eine echte Verbesserung widerspiegelt oder nur das Glück, welche Beispiele Sie zufällig getestet haben. Dieser Rechner wendet einen Zweistichproben-z-Test auf zwei Gewinnraten an und gibt die Gewinnraten, die Teststatistik, den p-Wert sowie die für einen verlässlichen Vergleich nötige Anzahl an Versuchen aus.
Zwei Gewinnraten vergleichen
Jede Variante wird durch eine Gewinnrate zusammengefasst: Gewinne geteilt durch Versuche, wobei ein „Gewinn“ alles ist, was als Erfolg zählt — ein bestandener Test, eine bevorzugte Antwort in einem direkten Vergleich, eine korrekte Lösung. Zwei auf endlichen Stichproben gemessene Raten werden fast nie exakt gleich sein, selbst wenn die Varianten identisch sind, deshalb fragt der Test, wie weit sie relativ zum Rauschen in jeder Schätzung auseinanderliegen.
Die Formel
Der Test poolt die beiden Stichproben, um eine gemeinsame Rate zu schätzen, nutzt sie zur Berechnung des Standardfehlers der Differenz und dividiert:
pˉzP=na+nbwa+wb=pˉ(1−pˉ)(na1+nb1)pb−pa=2(1−Φ(∣z∣))Dabei sind und die Gewinnraten, ist die gepoolte Rate, gibt an, wie viele Standardfehler die Raten trennen, ist die kumulative Verteilungsfunktion der Standardnormalverteilung, und ist der zweiseitige p-Wert. Ein Betrag von jenseits von etwa 1,96 markiert die 5-%-Signifikanzschwelle.
Rechenbeispiel
Angenommen, Prompt A gewinnt 540 von 1000 beurteilten Aufgaben und Prompt B gewinnt 590 von 1000:
pˉzP=2000540+590=0.565=0.565×0.435×(0.001+0.001)0.59−0.54=0.02220.05≈2.26≈0.024Der Abstand von fünf Prozentpunkten überschreitet die Schwelle von 1,96, mit einem p-Wert nahe 0,024 — unter 0,05, sodass der Unterschied statistisch signifikant ist: Zufall ist eine unwahrscheinliche Erklärung. Der Planungswert zeigt, dass der zuverlässige Nachweis eines Abstands dieser Größe (95 % Konfidenz, 80 % Teststärke) etwa 1538 Versuche je Variante erfordern würde, sodass die hier vorliegenden 1000 Versuche das Ergebnis gerade über die Linie bringen, statt es klar darüber zu legen.
Das Ergebnis mit Sorgfalt lesen
Signifikanz ist nicht Bedeutsamkeit — ein winziger, belangloser Abstand kann mit genügend Versuchen signifikant sein, und ein relevanter Abstand kann mit zu wenigen die Signifikanz verfehlen. Der Test setzt außerdem unabhängige Versuche und einen einzelnen Vergleich voraus: das gleichzeitige Auswerten vieler Varianten oder das wiederholte Prüfen der Ergebnisse, während Daten nach und nach eintreffen, erhöhen beide die Rate falsch positiver Befunde und verlangen Korrekturen. Um eine Auswertung vor ihrer Durchführung zu dimensionieren, siehe den Rechner für die Stichprobengröße bei LLM-Auswertungen; für Code-Metriken mit Stichprobe und Prüfung siehe den pass@k-Rechner.
Häufig gestellte Fragen (FAQ)
Was bedeutet statistische Signifikanz hier?
Sie fragt, ob der beobachtete Abstand zwischen den beiden Gewinnraten größer ist, als er routinemäßig durch Zufall entstünde, wenn die Varianten tatsächlich gleichwertig wären. Der Zweistichproben-z-Test poolt die beiden Raten, schätzt den Standardfehler ihrer Differenz und gibt an, wie viele Standardfehler sie auseinanderliegen.
Der p-Wert ist die Wahrscheinlichkeit eines mindestens so großen Abstands unter der Annahme, dass kein echter Unterschied besteht. Ein kleiner p-Wert — üblicherweise unter 0,05 — bedeutet, dass Zufall eine unwahrscheinliche Erklärung ist, sodass der Unterschied als signifikant gilt.
Er misst nicht, wie groß oder wichtig der Unterschied ist, sondern nur, wie sicher er vom Rauschen unterschieden werden kann.
Wie viele Versuche brauche ich?
Genug, um den Unterschied nachzuweisen, der Ihnen wichtig ist, ohne sich vom Rauschen täuschen zu lassen. Der Rechner gibt die je Variante nötige Anzahl an Versuchen an, um den beobachteten Abstand bei 95 % Konfidenz und 80 % Teststärke nachzuweisen — die üblichen Planungsziele.
Kleinere echte Unterschiede erfordern weitaus mehr Versuche, weil der Abstand einen Standardfehler überwinden muss, der nur mit der Quadratwurzel des Stichprobenumfangs schrumpft. Liegen Ihre aktuellen Versuchszahlen deutlich unter dem angezeigten Wert, kann ein nicht signifikantes Ergebnis schlicht zu wenig Daten widerspiegeln statt tatsächlich gleichwertige Varianten.
Ist dies ein einseitiger oder zweiseitiger Test?
Zweiseitig. Der p-Wert spiegelt die Wahrscheinlichkeit eines Unterschieds dieser Größe in beide Richtungen wider, was die angemessene Voreinstellung ist, wenn Sie sich nicht vorab festgelegt haben, welche Variante gewinnen würde.
Ein einseitiger Test, der nur verwendet wird, wenn die Richtung vorher feststeht, würde den p-Wert halbieren, riskiert aber, einen echten Effekt in der unerwarteten Richtung zu übersehen. Beim Vergleich von Prompts oder Modellen ohne vorherige Festlegung ist der zweiseitige Test die sichere Wahl.
Haftungsausschluss
Dieser Test setzt unabhängige Versuche voraus und verwendet die Normalapproximation, die zuverlässig ist, wenn jede Variante mindestens eine Handvoll Gewinne und Niederlagen aufweist.
Er korrigiert weder für den gleichzeitigen Test vieler Varianten noch für das wiederholte Hineinschauen in die Ergebnisse, was beides die Rate falsch positiver Befunde erhöht. Behandeln Sie ihn als Indiz, nicht als Beweis, und registrieren Sie Ihren Vergleich nach Möglichkeit vorab.