Zuletzt aktualisiert: 2026-06-22

Der Token erklärt

Ein Token ist die Texteinheit, die ein großes Sprachmodell (LLM) liest und erzeugt. Ein Tokenizer zerlegt Rohtext in Einträge eines festen Wortschatzes, wobei jeder Eintrag in der Regel ein kurzes Fragment darstellt – ein vollständiges häufiges Wort, einen Wortstamm, eine Endung, ein Satzzeichen oder einige Zeichen eines seltenen Worts. Modelle rechnen die Nutzung in Token ab und begrenzen sie in Token, nicht in Wörtern oder Zeichen. Die Umrechnung zwischen Token und den vertrauteren Wort- und Zeichenzahlen setzt daher die durchschnittlichen Verhältnisse voraus, die ein Tokenizer erzeugt.

Umrechnungsverhältnisse

Für englische Prosa sind zwei empirische Durchschnittswerte gebräuchlich. Wörter bilden sich auf Token im Verhältnis von etwa 1.33 Token pro Wort ab, entsprechend rund 0.75 Wörtern pro Token. Zeichen bilden sich im Verhältnis von etwa 4 Zeichen pro Token ab. Bei einer Tokenzahl $n$, einem Verhältnis von Token pro Wort $r_w$ und einem Verhältnis von Zeichen pro Token $r_c$ gilt:

Die Wortzahl wird durch das Verhältnis geteilt, weil mehr Token pro Wort weniger Wörter für dasselbe Token-Budget bedeuten; die Zeichenzahl wird multipliziert, weil jedes Token eine annähernd feste Zahl von Zeichen trägt.

Rechenbeispiel

Für n = 1000 Token gewöhnlichen englischen Texts bei den Standardverhältnissen $r_w = 1.33$ und $r_c = 4$ ergibt sich:

Ein Textabschnitt von 1000 Token entspricht somit ungefähr 752 Wörtern und 4000 Zeichen – einige Absätze Prosa, etwa anderthalb Seiten doppelt zeilig gesetzten Texts. Die Werte sind Schätzungen: Die tatsächliche Zerlegung eines konkreten Abschnitts weicht vom Durchschnitt ab, und die Wortzahl wird auf das nächste ganze Wort gerundet.

Variationen

Die Verhältnisse sind keine universellen Konstanten. Sie verschieben sich mit drei Faktoren:

• Sprache. Schriften, die der Tokenizer weniger effizient abbildet – viele nicht-lateinische Schriften oder Sprachen mit reicher Morphologie – erzeugen mehr Token pro Wort und senken so den Wert für Wörter pro Token.
• Inhaltstyp. Quellcode, Tabellen, mathematische Notation und Text mit vielen Zahlen oder seltenen Symbolen zerfallen in mehr Token als laufende Prosa, was $r_w$ erhöht und $r_c$ senkt.
• Tokenizer. Jede Modellfamilie verwendet einen eigenen Wortschatz, sodass derselbe Text über Modelle hinweg unterschiedliche Tokenzahlen ergibt. Die hier genannten Verhältnisse sind Durchschnittswerte für Englisch; ein exakter Wert erfordert die Verarbeitung des Texts durch den Tokenizer des Zielmodells.

Anwendung

Die Umrechnung von Token in Wörter dient hauptsächlich dazu, zwischen einem geschriebenen Ergebnis und dem davon verbrauchten Token-Budget zu vermitteln. Eine Ziellänge in Wörtern lässt sich in eine ungefähre Tokenzahl umrechnen, um sie mit Rechner zur Kontextfenster-Auslastung gegen die Grenzen eines Modells zu prüfen oder mit Token-Kosten-Rechner die Ausgaben abzuschätzen. Da die Verhältnisse Durchschnittswerte sind, ist das Ergebnis als Planungsschätzung und nicht als exakte Messung zu behandeln; nahe einer harten Grenze sollte ein Sicherheitsabstand eingeplant werden.