Perplexitäts-Rechner
Eingaben
| Kreuzentropie-Verlust | 2 |
|---|
Perplexitäts-Rechner
Wandelt den Kreuzentropie-Verlust eines Sprachmodells in Perplexität und Bits pro Token um. Die Perplexität ist der Exponentialwert des durchschnittlichen Verlusts pro Token, gemessen auf zurückgehaltenem Text.
Eingaben
Verlust
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Perplexität
Die Perplexität ist das am weitesten verbreitete intrinsische Maß dafür, wie gut ein Sprachmodell Text vorhersagt. Sie fasst die durchschnittliche Unsicherheit des Modells in einer einzigen Zahl mit anschaulicher Bedeutung zusammen: ungefähr, wie viele gleich wahrscheinliche Möglichkeiten das Modell bei jedem Token gegeneinander abwägt. Dieser Rechner wandelt einen Kreuzentropie-Verlust — die Größe, die Trainings-Frameworks ausgeben — in Perplexität und in Bits pro Token um.
Vom Verlust zur Perplexität
Wenn ein Sprachmodell zurückgehaltenen Text liest, weist es jedem tatsächlichen nächsten Token eine Wahrscheinlichkeit zu. Der Kreuzentropie-Verlust ist der durchschnittliche negative Logarithmus dieser Wahrscheinlichkeiten; ein zuversichtliches, korrektes Modell erzielt einen niedrigen Verlust, ein überraschtes einen hohen. Die Perplexität ist schlicht der Exponentialwert dieses Durchschnitts:
PPLH2=eL=ln2Lwobei der Verlust pro Token in Nats und das Äquivalent in Bits pro Token ist. Das Exponenzieren macht den Logarithmus innerhalb des Verlusts rückgängig und verwandelt eine additive Größe in eine multiplikative „effektive Vokabulargröße“. Ein perfektes Modell weist jedem korrekten Token die Wahrscheinlichkeit eins zu, was einen Verlust von null und eine Perplexität von eins ergibt — also gar keine Unsicherheit.
Rechenbeispiel
Angenommen, ein Modell weist einen Kreuzentropie-Verlust auf zurückgehaltenem Text von 2,0 Nats aus:
PPLH2=e2.0≈7.39=ln22.0≈2.885 bits/tokenEine Perplexität von etwa 7,4 bedeutet, dass das Modell, gemittelt über den Text, so unsicher ist, als würde es gleichmäßig unter rund sieben oder acht gleich wahrscheinlichen Token wählen. Der Bits-pro-Token-Wert hängt mit der Kompression zusammen: Ein idealer Codierer, der dieses Modell verwendet, bräuchte etwa 2,9 Bits, um jedes Token zu kodieren, sodass ein Modell mit niedrigerer Perplexität denselben Text dichter komprimieren könnte.
Perplexität lesen und vergleichen
Eine niedrigere Perplexität bedeutet eine bessere Vorhersage, doch die Zahl ist nur innerhalb eines festen Tokenizers und Auswertungssatzes aussagekräftig. Da sie pro Token gemessen wird, weist ein Modell, das Text in mehr und kleinere Token zerlegt, auf derselben Textstelle eine andere Perplexität aus als eines mit gröberem Vokabular, selbst bei gleicher zugrunde liegender Qualität. Vergleiche sind gültig, wenn der Tokenizer und der Testtext identisch sind, und andernfalls irreführend. Die Perplexität sagt zudem nichts darüber aus, ob ein Modell Anweisungen befolgen oder schlussfolgern kann — dafür werden aufgabenbasierte Auswertungen verwendet. Um zu planen, wie viele Beispiele eine solche Auswertung benötigt, siehe den Rechner für die Stichprobengröße bei LLM-Auswertungen, und zur Bewertung von Codegenerierung siehe den pass@k-Rechner.
Häufig gestellte Fragen (FAQ)
Was misst die Perplexität?
Die Perplexität misst, wie gut ein Wahrscheinlichkeitsmodell eine Stichprobe vorhersagt — niedriger ist besser. Sie ist der Exponentialwert des durchschnittlichen Kreuzentropie-Verlusts und lässt sich als effektiver Verzweigungsfaktor lesen: Eine Perplexität von 8 bedeutet, dass das Modell im Durchschnitt so unsicher ist, als müsste es gleichmäßig unter 8 gleich wahrscheinlichen nächsten Token wählen. Ein perfektes Modell, das dem korrekten Token stets die Wahrscheinlichkeit eins zuweist, hätte einen Verlust von null und eine Perplexität von eins.
Da sie direkt aus den modelleigenen Wahrscheinlichkeiten berechnet wird, benötigt die Perplexität keine Labels und ist das übliche intrinsische Maß für die Modellanpassung eines Sprachmodells.
Was ist der Unterschied zwischen Nats und Bits?
Beides sind Informationseinheiten, die sich nur durch die Basis des Logarithmus unterscheiden. Ein Nat verwendet den natürlichen Logarithmus und ist das, was der Großteil des Trainingscodes ausgibt; ein Bit verwendet die Basis zwei. Ein Nat entspricht etwa 1,443 Bits, sodass die Division des Verlusts in Nats durch den natürlichen Logarithmus von zwei ihn in Bits pro Token umrechnet.
Bits pro Token sind praktisch, weil sie unmittelbar mit der Kompression zusammenhängen: Ein Modell mit einem niedrigeren Bits-pro-Token-Wert könnte denselben Text im Prinzip in weniger Bits komprimieren.
Lässt sich die Perplexität über Modelle hinweg vergleichen?
Nur wenn der Tokenizer und der Auswertungstext identisch sind. Die Perplexität wird pro Token gemessen, sodass ein Modell, das Text in mehr und kleinere Token zerlegt, auf derselben Textstelle eine andere Perplexität ausweist als eines mit einem gröberen Vokabular, selbst bei gleicher zugrunde liegender Qualität.
Vergleiche sind daher innerhalb eines festen Tokenizers und Datensatzes gültig und über verschiedene hinweg irreführend. Für Fähigkeitsvergleiche zwischen Modellen werden stattdessen aufgabenbasierte Metriken verwendet.
Haftungsausschluss
Die Perplexität ist ein intrinsisches Maß, das an einen bestimmten Tokenizer und Auswertungssatz gebunden ist; sie ist weder direkt zwischen Modellen mit unterschiedlichen Vokabularen vergleichbar noch ein Ersatz für eine aufgabenbasierte Auswertung. Vergewissern Sie sich vor der Umrechnung, dass der Verlust pro Token und in Nats angegeben ist.