Rechner für die Stichprobengröße bei LLM-Auswertungen
Eingaben
| Erwartete Genauigkeit | 80 % |
|---|---|
| Fehlerspanne | 5 % |
| Konfidenzniveau | 95 % |
Rechner für die Stichprobengröße bei LLM-Auswertungen
Ermittelt, wie viele Beispiele eine Modellauswertung benötigt, um die Genauigkeit innerhalb einer angestrebten Fehlerspanne zu messen, anhand der Standardformel für die Stichprobengröße eines Anteils.
Eingaben
Angestrebte Präzision
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Stichprobengröße bei LLM-Auswertungen
Wenn Sie die Genauigkeit eines Modells bei einem Benchmark messen, ist die berichtete Zahl eine Schätzung aus einer endlichen Stichprobe und mit Unsicherheit behaftet. Führen Sie dasselbe Modell auf anderen fünfzig Beispielen aus, und der Wert verschiebt sich. Dieser Rechner beantwortet die Planungsfrage, die jeder Auswertung vorausgeht: Wie viele Beispiele werden benötigt, damit die gemessene Genauigkeit innerhalb einer angegebenen Fehlerspanne bei einem gewählten Konfidenzniveau landet?
Genauigkeit ist ein Anteil
Ein Benchmark-Wert ist der Anteil der Beispiele, die ein Modell korrekt beantwortet — ein Anteil. Die Unsicherheit eines geschätzten Anteils wird durch seinen Standardfehler beschrieben, und ein Konfidenzintervall entsteht, indem man auf jeder Seite eine bestimmte Anzahl von Standardfehlern anträgt, festgelegt durch das Konfidenzniveau. Die Forderung, dass dieses Intervall nicht breiter als eine angestrebte Fehlerspanne ist, legt die Anzahl der benötigten Beispiele fest.
Die Formel
n=E2z2p(1−p)Dabei ist der standardnormalverteilte Wert für das gewählte Konfidenzniveau, die erwartete Genauigkeit, die Fehlerspanne und die Anzahl der Beispiele, aufgerundet. Zwei Eigenschaften sind von Bedeutung. Die Spanne geht quadratisch ein, sodass ihre Halbierung den Bedarf vervierfacht — Präzision ist teuer. Und die Genauigkeit geht über das Produkt aus und seinem Komplement ein, das bei einem ausgeglichenen Verhältnis sein Maximum erreicht, sodass ein Modell nahe einem Münzwurf die meisten Beispiele benötigt, während eines nahe den Extremen weniger braucht.
Rechenbeispiel
Angenommen, Sie erwarten etwa 80 % Genauigkeit und möchten sie bis auf ±5 % bei 95 % Konfidenz kennen:
n=0.0521.962×0.8×0.2=0.00253.8416×0.16≈245.9→246Es genügen also etwa 246 Beispiele. Hätten Sie keine Vorab-Schätzung für die Genauigkeit und verwendeten den ungünstigsten Fall bei einem ausgeglichenen Verhältnis, stiege der Bedarf auf 385. Eine Verengung der Spanne auf ±2,5 % würde den ungünstigsten Wert auf über 1500 treiben — eine konkrete Veranschaulichung der quadratischen Kosten von Präzision.
Das Ergebnis verwenden
Die Zahl ist eine Baseline, die unabhängige Beispiele und die Normalapproximation voraussetzt, beides bei Auswertungsumfang angemessen. Wenn Sie keine vertrauenswürdige Schätzung der Genauigkeit haben, planen Sie um den konservativen 50-%-Wert herum, da er der größte ist, den der Bedarf annehmen kann. Dieser Rechner dimensioniert eine einzelne Genauigkeitsschätzung; die Entscheidung, ob ein Modell oder ein Prompt ein anderes tatsächlich übertrifft, ist ein Vergleich zweier Anteile, der eine Effektgröße und statistische Power benötigt und gewöhnlich mehr Daten — siehe dafür den A/B-Test-Signifikanz-Rechner. Um stattdessen über Code-Metriken mit mehreren Stichproben nachzudenken, siehe den pass@k-Rechner.
Häufig gestellte Fragen (FAQ)
Warum hat die Stichprobengröße diese Form?
Die Genauigkeit bei einem Benchmark ist ein Anteil: der Anteil der Beispiele, die das Modell richtig löst. Die Unsicherheit eines geschätzten Anteils folgt dem binomialen Standardfehler, den die Formel umkehrt. Um die Fehlerspanne zu halbieren, müssen Sie die Anzahl der Beispiele vervierfachen, da die Spanne mit der Quadratwurzel der Stichprobengröße schrumpft. Eine Erhöhung des Konfidenzniveaus vergrößert den z-Wert und damit die Anzahl.
Das Ergebnis setzt voraus, dass die Beispiele unabhängig gezogen werden, und verwendet die Normalapproximation, die für die Stichprobengrößen, die Auswertungen üblicherweise benötigen, genau ist.
Wie verändert die erwartete Genauigkeit das Ergebnis?
Die erforderliche Größe hängt von p mal eins minus p ab, was bei 50 % am größten ist und zu den Extremen hin abfällt. Ein Modell, von dem 95 % erwartet werden, benötigt weniger Beispiele zur Festlegung als eines, von dem 50 % erwartet werden, denn nahe den Extremen gibt es schlicht weniger Varianz zu messen.
Wenn Sie keine verlässliche Vorab-Schätzung haben, verwenden Sie den konservativen Wert, der bei 50 % Genauigkeit berechnet wird — er ist der größte, den der Bedarf annehmen kann, und daher stets sicher.
Deckt dies den Vergleich zweier Modelle ab?
Nein. Dies dimensioniert eine einzelne Genauigkeitsschätzung auf eine angestrebte Präzision. Die Entscheidung, ob ein Modell oder ein Prompt ein anderes tatsächlich übertrifft, ist ein Vergleich zweier Anteile, der sowohl eine gewünschte Effektgröße als auch statistische Power benötigt und im Allgemeinen mehr Beispiele erfordert als die Schätzung eines einzelnen Modells.
Verwenden Sie dafür einen Test für zwei Anteile, der für Gewinnraten ausgelegt ist.
Haftungsausschluss
Die Formel setzt unabhängige Beispiele und die Normalapproximation der Binomialverteilung voraus. Sie dimensioniert eine einzelne Genauigkeitsschätzung, nicht einen Vergleich zwischen Modellen, und ignoriert jegliche Clusterung oder wiederholte Verwendung derselben Items. Betrachten Sie das Ergebnis als Planungs-Baseline.