Zuletzt aktualisiert: 2026-06-22

Token-Zahl eines Datensatzes

Das Training und die Budgetierung eines Sprachmodells beginnen bei einer einzigen Größe: wie viele Tokens der Datensatz enthält. Korpora werden jedoch meist in Wörtern, Dokumenten oder Gigabyte beschrieben, nicht in Tokens, und das Modell liest stets nur Tokens. Dieser Rechner überbrückt diese Lücke, indem er eine Wortzahl mit einem Verhältnis von Tokens je Wort in eine geschätzte Token-Zahl umrechnet und anschließend über die Zahl der Trainingsepochen skaliert, um die Gesamtzahl zu ergeben, die ein Modell verarbeitet.

Tokens statt Wörter

Ein Token ist die atomare Einheit, die ein Tokenizer erzeugt, wenn er Text in Subwort-Stücke zerlegt. Häufige Wörter werden oft zu einem einzelnen Token, während seltenere oder längere Wörter in mehrere geteilt werden, sodass ein Abschnitt fast immer mehr Tokens als Wörter enthält. Da die Abbildung vom Tokenizer gelernt wird, ist das Verhältnis zwischen Tokens und Wörtern eine Eigenschaft von Tokenizer und Text und keine universelle Konstante. Wörter und Tokens als austauschbar zu behandeln, unterschätzt die wahre Zahl und damit die Rechenleistung, die ein Lauf benötigt.

Wie die Schätzung funktioniert

Die Korpusgröße geht in Millionen Wörtern $W$ ein. Die Multiplikation mit dem Verhältnis von Tokens je Wort $r$ ergibt die Tokens in einem einzelnen Durchlauf über die Daten. Das Wiederholen des Korpus über $e$ Epochen vervielfacht die vom Modell geleistete Arbeit, sodass die effektiven Trainings-Tokens der Durchlaufwert mal die Epochen-Zahl sind. Ein Wert in Milliarden wird aus der Summe in Millionen abgeleitet, da Trainingsdatensätze meist in Milliarden Tokens angegeben werden.

Die Formel

Mit $W$ in Millionen Wörtern, dem Verhältnis $r$ und $e$ Epochen ergeben sich der Durchlaufwert $T$ (Millionen), seine Milliarden-Form und der über Epochen skalierte Trainingswert $E$ (Millionen) als

Der Milliarden-Wert ist schlicht $T\,/\,1000$.

Rechenbeispiel

Betrachtet sei ein Korpus von 100 Millionen Wörtern, tokenisiert mit 1,3 Tokens je Wort und über drei Epochen trainiert:

Ein Durchlauf über die Daten umfasst etwa 130 Millionen Tokens, also 0,13 Milliarden. Ein Training über drei Epochen bedeutet, dass das Modell Vorwärts- und Rückwärtsdurchläufe über das Äquivalent von 390 Millionen Tokens ausführt, obwohl nur 130 Millionen einzigartig sind. Der einzigartige Wert beschreibt die verfügbare Information; der über Epochen skalierte Wert beschreibt die Arbeit und damit die Rechenleistung.

Die Wahl des Verhältnisses

Für englische Prosa mit einem modernen Byte-Pair-Tokenizer ist rund 1,3 Tokens je Wort ein sinnvoller Standardwert, und etwa vier Zeichen je Token eine verwandte Näherung. Code, Mathematik und nicht-lateinische Schriften zerfallen in der Regel in mehr Tokens und heben das Verhältnis. Der verlässliche Ansatz besteht darin, den vorgesehenen Tokenizer auf einer repräsentativen Stichprobe laufen zu lassen und seine Token-Ausgabe durch die Wortzahl dieser Stichprobe zu teilen, und das gemessene Verhältnis hier zu verwenden. Die umgekehrte Umrechnung, von einem Token-Budget zurück in lesbare Länge, behandelt der Rechner für Token in Wörter.

Grenzen

Das Ergebnis ist eine Schätzung. Die genaue Token-Zahl hängt vom konkreten Tokenizer, von Formatierung und Leerraum sowie davon ab, wie Dokumente zusammengefügt werden — nichts davon erfasst ein einzelnes Verhältnis perfekt. Epochen als zusätzliche Tokens zu zählen ist für Rechenleistung und Skalierung korrekt, doch wiederholte Tokens tragen keine neue Information und bringen ab einigen Durchläufen abnehmenden Nutzen. Um zu prüfen, ob ein Datensatz für eine gegebene Modellgröße ausreicht, lässt sich der Durchlaufwert mit dem rechenoptimalen Ziel im Chinchilla-optimale Tokens Rechner vergleichen.