Zuletzt aktualisiert: 2026-06-22

Trainings-FLOPs

Der Rechenaufwand für das Training eines großen Sprachmodells wird von einer einzigen Größe bestimmt: der Zahl der Gleitkommaoperationen, die über den gesamten Trainingslauf ausgeführt werden. Für dichte Transformer lässt sich diese Zahl gut durch die 6ND-Regel annähern, nach der das Training etwa sechs Operationen je Parameter und je gesehenem Token kostet. Dieser Rechner wendet die Regel an: Aus einer Parameterzahl und einer Token-Zahl ergeben sich die reine Operationszahl und der entsprechende Wert in PetaFLOP/s-Tagen.

Die 6ND-Regel

Ein Vorwärtsdurchlauf eines Transformers führt grob zwei Gleitkommaoperationen je Parameter und Token aus — eine Multiplikation und eine Addition in den Matrixmultiplikationen, die den Aufwand dominieren. Das Training fügt einen Rückwärtsdurchlauf hinzu, der die Gradienten sowohl zu den Aktivierungen als auch zu den Gewichten zurückführt und etwa das Doppelte des Vorwärtsdurchlaufs kostet. Vorwärts- und Rückwärtsdurchlauf zusammen ergeben rund sechs Operationen je Parameter und Token. Mit $N$ Parametern und $D$ Trainings-Tokens liegt die Summe daher nahe bei $6\,N\,D$. Die Schätzung erfasst die dominierenden linearen Schichten und lässt kleinere Beiträge von Attention, Embeddings und Normalisierung außer Acht, die für große Modelle vernachlässigbar sind.

Die Formel

Mit dem Durchlauffaktor $k$ (sechs für einen Trainingsschritt, zwei für einen reinen Vorwärtsdurchlauf), der Parameterzahl $N$ in Milliarden und der Token-Zahl $D$ in Milliarden ergeben sich die Gesamtoperationszahl und die Rechenleistung in PetaFLOP/s-Tagen als

wobei $C$ die FLOPs gesamt und $P$ die Rechenleistung in PetaFLOP/s-Tagen ist. Der Faktor $10^{18}$ setzt die Milliarden in $N$ und $D$ wieder in absolute Zahlen um. Ein PetaFLOP/s-Tag ist ein PetaFLOP/s über einen Tag gehalten, gleich $10^{15} \times 86\,400 = 8.64 \times 10^{19}$ Operationen, sodass die Division durch diesen Wert eine reine FLOP-Zahl in die Einheit umrechnet, in der große Läufe üblicherweise angegeben werden.

Rechenbeispiel

Betrachtet sei ein Modell mit 70 Milliarden Parametern, trainiert auf 1.400 Milliarden Tokens — ein Verhältnis von zwanzig Tokens je Parameter, im Einklang mit der rechenoptimalen Praxis:

Der Lauf benötigt etwa $5.88 \times 10^{23}$ Operationen, also rund 6.806 PetaFLOP/s-Tage. Setzt man den Durchlauffaktor auf zwei, ergibt sich allein der Aufwand des Vorwärtsdurchlaufs, ein Drittel des Trainingswerts.

Grenzen

Die 6ND-Regel ist eine idealisierte Zählung von Arithmetik, keine Vorhersage von Laufzeit oder Kosten. Reale Hardware hält nur einen Bruchteil ihres Spitzendurchsatzes, sodass sich die tatsächliche Zeit aus der Division dieser Rechenleistung durch den erreichten und nicht durch den angegebenen Durchsatz ergibt — eine Lücke, die die Rechner für die Modell-FLOPs-Auslastung erfasst. Die Schätzung lässt zudem die Neuberechnung von Aktivierungen, Optimierer-Schritte, Evaluierungsdurchläufe sowie fehlgeschlagene und neu gestartete Läufe außer Acht, die alle den praktischen Aufwand erhöhen. Die ergänzende Frage, wie viele Tokens ein Modell gegebener Größe sehen sollte, behandelt der Chinchilla-optimale Tokens Rechner, und die Umrechnung dieser Rechenleistung in ein Mietbudget der GPU-Cloud-Kosten-Rechner.