Chinchilla-optimale Tokens Rechner
Eingaben
| Parameter | 70 |
|---|---|
| Tokens je Parameter | 20 |
Chinchilla-optimale Tokens Rechner
Ermittelt die rechenoptimale Zahl an Trainings-Tokens für ein Modell nach der Chinchilla-Regel von rund zwanzig Tokens je Parameter, samt der daraus folgenden Trainingsrechenleistung in FLOPs.
Eingaben
Modell
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Chinchilla-optimale Tokens
Das Chinchilla-Skalierungsergebnis hat verändert, wie Sprachmodelle dimensioniert werden. Es zeigte, dass bei festem Rechenbudget die beste Genauigkeit nicht durch ein möglichst großes Modell entsteht, sondern durch das gemeinsame Skalieren von Parametern und Trainings-Tokens — jeder Parameter wird mit rund zwanzig Tokens an Trainingsdaten gepaart. Dieser Rechner wendet das Verhältnis an: Aus einer Parameterzahl ergibt sich die rechenoptimale Token-Zahl samt der damit verbundenen Trainingsrechenleistung.
Das rechenoptimale Verhältnis
Vor Chinchilla floss der Großteil eines Rechenbudgets in Parameter und vergleichsweise wenig in Daten, was Modelle hervorbrachte, die im Verhältnis zu ihrer Größe untertrainiert waren. Die DeepMind-Studie von 2022 passte Skalierungsgesetze über Hunderte von Läufen an und stellte fest, dass der Verlust bei gegebenem Budget minimiert wird, wenn Modellgröße und Datensatzgröße im Gleichschritt wachsen. Der empirische Gleichgewichtspunkt setzt den optimalen Datensatz bei etwa zwanzig Trainings-Tokens je Parameter an. Ein Modell mit Parametern sollte daher auf etwa Tokens trainiert werden.
Die Formel
Mit der Parameterzahl in Milliarden und einem Verhältnis von Tokens je Parameter ergeben sich die optimale Token-Zahl und die zugehörige Trainingsrechenleistung als
DC=N⋅r=6⋅N⋅D⋅1018wobei die optimale Zahl an Trainings-Tokens in Milliarden und die Trainingsrechenleistung in Gleitkommaoperationen ist. Die Rechenleistung folgt der -Regel, die rund sechs Operationen je Parameter und Token veranschlagt, und der Faktor setzt die Milliarden in und wieder in absolute Zahlen um.
Rechenbeispiel
Betrachtet sei ein Modell mit 70 Milliarden Parametern und dem zentralen Verhältnis von zwanzig Tokens je Parameter:
DC=70×20=1400 Milliarden Tokens=1.4 Billionen=6×70×1400×1018=5.88×1023 FLOPsDer rechenoptimale Datensatz umfasst etwa 1,4 Billionen Tokens, und das Training darauf kostet rund Operationen. Ein höheres Verhältnis — etwa hundert Tokens je Parameter — erhöht sowohl die Token-Zahl als auch die Rechenleistung direkt proportional.
Grenzen
Das Verhältnis von zwanzig zu eins minimiert den Trainingsverlust bei festem Trainingsbudget, lässt aber bewusst die Kosten für den Betrieb des fertigen Modells außer Acht. Ein Modell, das viele Anfragen beantworten soll, wird häufig auf weit mehr Tokens trainiert als Chinchilla-optimal, weil ein kleineres, länger trainiertes Modell bei gleicher Qualität günstiger im Betrieb ist. Das genaue optimale Verhältnis verschiebt sich zudem mit Datensatz, Tokenizer und Architektur, sodass zwanzig eine zentrale Schätzung und keine Konstante ist. Das ergänzende Problem, ein Modell auf ein festes Rechenbudget zuzuschneiden, behandelt der Rechenoptimale Modellgröße Rechner, und die reine Rechenleistung einer gewählten Konfiguration der Trainings-FLOPs Rechner.
Häufig gestellte Fragen (FAQ)
Was ist das Chinchilla-Skalierungsergebnis?
Das 2022 von DeepMind veröffentlichte Chinchilla-Ergebnis zeigte, dass frühere große Modelle untertrainiert waren: Bei festem Rechenbudget verbessert sich die Genauigkeit am stärksten, wenn Modellgröße und Trainings-Tokens gemeinsam skaliert werden, statt das Budget überwiegend in Parameter zu stecken.
Die Studie passte Skalierungsgesetze über Hunderte von Trainingsläufen an und kam zu dem Schluss, dass die rechenoptimale Aufteilung jeden Parameter mit rund zwanzig Trainings-Tokens paart — eine deutliche Abkehr von früheren Modellen, die mit weit niedrigeren Verhältnissen trainiert wurden.
Warum etwa zwanzig Tokens je Parameter?
Das Verhältnis ergibt sich aus den an die Trainingsdaten angepassten Skalierungsgesetzen. Bei festem Rechenbudget wird der Verlust minimiert, wenn der Grenznutzen zusätzlicher Parameter dem zusätzlicher Tokens entspricht, und die empirischen Exponenten der Chinchilla-Studie legen dieses Gleichgewicht nahe zwanzig Tokens je Parameter.
Der genaue Wert hängt von Datensatz und Architektur ab, weshalb zwanzig eine runde zentrale Schätzung und keine präzise Konstante ist.
Sind zwanzig Tokens je Parameter noch das richtige Ziel?
Zwanzig ist das rechenoptimale Verhältnis zur Minimierung des Trainingsverlusts bei festem Trainingsbudget, doch es lässt die Inferenzkosten außer Acht. Ein Modell, das viele Anfragen bedienen soll, wird oft auf weit mehr Tokens trainiert als Chinchilla-optimal, weil ein kleineres, länger trainiertes Modell im Betrieb günstiger ist, selbst wenn sein Training nicht rechenoptimal war.
Mehrere weit verbreitete Modelle werden aus diesem Grund mit Verhältnissen von hundert oder mehr trainiert, sodass zwanzig eine Untergrenze und keine Obergrenze ist.
Haftungsausschluss
Das Verhältnis von zwanzig Tokens je Parameter ist eine zentrale Schätzung aus den Chinchilla-Skalierungsgesetzen und schwankt mit Datensatz und Architektur. Es optimiert allein die Trainingsrechenleistung und berücksichtigt keine Inferenzkosten, die oft das Training kleinerer Modelle auf weit mehr Tokens rechtfertigen. Das Ergebnis ist als Ausgangspunkt zu verstehen, nicht als feste Regel.