Rechenoptimale Modellgröße Rechner
Eingaben
| Rechenbudget | 6.000 |
|---|---|
| Tokens je Parameter | 20 |
Rechenoptimale Modellgröße Rechner
Findet zu einem Trainingsbudget in PetaFLOP/s-Tagen die Chinchilla-rechenoptimale Parameter- und Token-Zahl, indem die 6ND-Regel bei festem Verhältnis von Tokens je Parameter umgestellt wird.
Eingaben
Rechenbudget
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Rechenoptimale Modellgröße
Bei einer festen Menge an Trainingsrechenleistung beantworten die Chinchilla-Skalierungsgesetze, wie groß ein damit gebautes Modell sein und auf wie viele Tokens es trainiert werden sollte. Die rechenoptimale Aufteilung paart Parameter und Daten im Gleichschritt, statt das gesamte Budget in die Größe zu stecken. Dieser Rechner nimmt ein Rechenbudget in PetaFLOP/s-Tagen, hält das Verhältnis von Tokens je Parameter fest und stellt die 6ND-Regel um, um die optimale Parameter- und Token-Zahl zu liefern.
Ein Rechenbudget aufteilen
Die Trainingsrechenleistung lässt sich gut durch die 6ND-Regel annähern: etwa sechs Gleitkommaoperationen je Parameter und Token. Die Chinchilla-Studie zeigte, dass der Verlust bei festem Budget minimiert wird, wenn Modellgröße und Datensatzgröße gemeinsam wachsen, mit rund zwanzig Trainings-Tokens je Parameter. Hält man dieses Verhältnis fest, wird die Rechengleichung zu einer Beziehung allein in der Parameterzahl, die sich nach der Modellgröße auflösen lässt, die ein gegebenes Budget trägt.
Die Formel
Sei das Budget in PetaFLOP/s-Tagen und das Verhältnis von Tokens je Parameter. Wandelt man das Budget in FLOPs um und setzt in die -Regel ein, ergibt sich , sodass Parameter- und Token-Zahl lauten
ND=10916rC⋅8.64×1019=r⋅Nwobei die optimale Parameterzahl in Milliarden und die optimale Token-Zahl in Milliarden ist. Der Faktor wandelt PetaFLOP/s-Tage in FLOPs um, und die Division durch drückt in Milliarden aus. Die Quadratwurzel erscheint, weil die Rechenleistung mit dem Quadrat der Parameterzahl wächst, sobald die Tokens an sie gebunden sind.
Rechenbeispiel
Betrachtet sei ein Budget von 6.000 PetaFLOP/s-Tagen beim zentralen Verhältnis von zwanzig Tokens je Parameter:
ND=10916×206000×8.64×1019≈65.7 Milliarden=20×65.7≈1314.5 Milliarden=1.31 BillionenDas Budget wird am besten in ein Modell von etwa 65,7 Milliarden Parametern investiert, trainiert auf rund 1,31 Billionen Tokens. Eine Verdopplung des Budgets würde die optimale Parameterzahl nur um etwa die Quadratwurzel aus zwei und nicht um den Faktor zwei erhöhen, wegen der Quadratwurzel-Abhängigkeit.
Grenzen
Dies spiegelt allein den rechenoptimalen Trainingsverlust bei festem Trainingsbudget wider und nichts weiter. Es wägt nicht die Kosten für den Betrieb des Modells ab, die oft ein kleineres, auf mehr Tokens trainiertes Modell zur besseren praktischen Wahl machen, sodass eingesetzte Modelle häufig unter der hier ermittelten Parameterzahl liegen. Das feste Verhältnis ist selbst eine Schätzung, die sich mit Datensatz und Architektur verschiebt, und reale Läufe halten nur einen Bruchteil des Spitzendurchsatzes der Hardware. Die Datensatzseite desselben Abwägens behandelt der Chinchilla-optimale Tokens Rechner, und die reine Rechenleistung einer gewählten Konfiguration der Trainings-FLOPs Rechner.
Häufig gestellte Fragen (FAQ)
Wie sollte ein festes Rechenbudget zwischen Modellgröße und Daten aufgeteilt werden?
Die Chinchilla-Skalierungsgesetze zeigen, dass der Verlust bei festem Trainingsbudget minimiert wird, wenn Parameter und Trainings-Tokens gemeinsam skaliert werden, statt das Budget überwiegend in Parameter zu stecken. Hält man das Verhältnis von Tokens je Parameter nahe zwanzig und löst die 6ND-Rechengleichung für dieses Budget, ergeben sich die Modell- und Datensatzgröße, die die verfügbare Rechenleistung am besten ausschöpfen.
Größere Budgets tragen proportional größere Modelle und Datensätze.
Warum skaliert die Modellgröße mit der Quadratwurzel der Rechenleistung?
Die Trainingsrechenleistung beträgt unter der 6ND-Regel das Sechsfache der Parameter mal der Tokens. Hält man die Tokens bei einem festen Verhältnis r je Parameter, sind die Tokens gleich r mal N, sodass die Rechenleistung zu sechs mal r mal N im Quadrat wird.
Da die Rechenleistung mit dem Quadrat der Parameterzahl wächst, erfordert die Rückgewinnung der Parameterzahl aus einem Rechenbudget das Ziehen einer Quadratwurzel: N gleich der Quadratwurzel aus der Rechenleistung geteilt durch sechs r. Die Tokens folgen dann als r mal N.
Was ist ein PetaFLOP/s-Tag?
Ein PetaFLOP/s-Tag ist die Rechenleistung, die entsteht, wenn ein PetaFLOP/s — 10¹⁵ Gleitkommaoperationen pro Sekunde — einen vollen Tag lang gehalten wird. Die Multiplikation mit den 86.400 Sekunden eines Tages ergibt 8,64 × 10¹⁹ Operationen. Es ist die übliche Einheit zur Angabe und zum Vergleich der Rechenbudgets großer Trainingsläufe, da reine Operationszahlen unhandliche Größenordnungen erreichen.
Haftungsausschluss
Dies stellt die 6ND-Regel erster Ordnung bei festem Verhältnis von Tokens je Parameter um und spiegelt allein den rechenoptimalen Trainingsverlust wider. Es berücksichtigt weder Inferenzkosten, die oft kleinere, länger trainierte Modelle begünstigen, noch eine Hardwareauslastung unter dem Spitzenwert. Das Ergebnis ist als Planungsschätzung zu verstehen.