Rechner für FLOPs pro Token
Eingaben
| Durchlaufart | Vorwärtsdurchlauf (2N) |
|---|---|
| Parameter | 70 |
Rechner für FLOPs pro Token
Schätzt die Gleitkommaoperationen, die ein Transformer pro Token ausführt, mithilfe der 2N-Regel für den Vorwärtsdurchlauf und der 6N-Regel für das Training, aus der Parameterzahl des Modells in Milliarden.
Eingaben
Modell
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
FLOPs pro Token
Wie viel Rechenaufwand verwendet ein Sprachmodell auf ein einzelnes Token? Die Antwort liegt fast jeder Überschlagsrechnung des Feldes zugrunde — Trainingsbudgets, Inferenzkosten und Hardware-Auslastung beginnen alle damit. Die übliche Abkürzung ist bemerkenswert einfach: Ein dichter Transformer führt etwa zwei Gleitkommaoperationen (FLOP, Floating Point Operations) pro Parameter aus, um ein Token zu verarbeiten, und etwa sechs während des Trainings. Dieser Rechner wendet diese Regeln auf die Parameterzahl eines Modells an.
Die 2N-Regel
Die Rechenleistung eines Transformers wird von großen Matrixmultiplikationen dominiert, und in jeder von ihnen wird jedes Gewicht einmal pro Token berührt. Eine einzelne Multiplikation-Akkumulation zählt als zwei Gleitkommaoperationen — eine Multiplikation und eine Addition —, sodass das Schieben eines Tokens durch ein Modell mit Parametern etwa zwei Operationen pro Parameter kostet, die 2N-Regel, im Vorwärtsdurchlauf. Dies ist die Schätzung aus der Kaplan-Arbeit zu den Skalierungsgesetzen, und sie ist zur universellen Währung für das Nachdenken über Modellrechenleistung geworden. Sie ignoriert bewusst alles, was keine parametergewichtete Matrixmultiplikation ist, was für große Modelle eine gute Näherung darstellt.
Vorwärts- und Trainingskosten
Das Training eines Modells erfordert außerdem einen Rückwärtsdurchlauf zur Berechnung der Gradienten. Der Rückwärtsdurchlauf erzeugt Gradienten bezüglich sowohl der Aktivierungen als auch der Gewichte, jeweils etwa zu den Kosten des Vorwärtsdurchlaufs, sodass er die Vorwärtsarbeit ungefähr verdoppelt. Das Ganze entspricht etwa drei Vorwärtsdurchläufen oder sechs Operationen pro Parameter und Token (der 6N-Schätzung):
GF=k⋅N(GFLOPs, N in billions)=k⋅N×109mit dem Faktor gleich zwei für einen Vorwärtsdurchlauf und sechs für einen Trainingsschritt. Da in Milliarden eingegeben wird, landet der Vorwärtswert direkt in GFLOPs.
Rechenbeispiel
Für ein Modell mit 70 Milliarden Parametern im Vorwärtsdurchlauf:
GF=2×70=140 GFLOPs=2×70×109=1.4×1011 FLOPsJedes erzeugte Token kostet etwa 140 GFLOPs. Die Multiplikation mit dem Gesamtdurchsatz eines Modells ergibt die erreichte Rechenrate, und die Division dieser Rate durch das Maximum eines Beschleunigers ergibt dessen Auslastung. Das Training desselben Modells würde GFLOPs pro Token kosten, und die Multiplikation der Trainingskosten mit der Gesamtzahl der Token in einem Datensatz ist die übliche Methode, um das Rechenbudget eines Trainingslaufs zu bemessen.
Was es weglässt
Die Regel zählt nur die parametertragenden Matrixmultiplikationen. Der Attention-Mechanismus fügt einen separaten Term hinzu, der mit der Sequenzlänge wächst und nicht von der Parameterzahl abhängt; für typische Modelle bei moderaten Kontextlängen ist er klein, doch bei sehr langen Kontexten kann er erheblich werden. Embedding- und Normalisierungsschichten werden ebenfalls weggelassen. Aus diesen Gründen ist der Wert eine Schätzung für Skalierung und Budgetierung, keine exakte Befehlszählung. Um die erreichte Rechenleistung als Bruchteil des Hardware-Maximums zu sehen, fahren Sie mit dem Rechner für die Modell-FLOPs-Auslastung fort.
Häufig gestellte Fragen (FAQ)
Woher stammt die 2N-Schätzung?
Die Rechenleistung eines Transformers wird von Matrixmultiplikationen dominiert, in denen jedes Gewicht einmal pro Token verwendet wird. Eine Multiplikation-Akkumulation entspricht zwei Gleitkommaoperationen — einer Multiplikation und einer Addition —, sodass die Verarbeitung eines einzelnen Tokens durch N Parameter etwa 2N Operationen im Vorwärtsdurchlauf kostet.
Dies ist die Faustregel, die in der Kaplan-Arbeit zu den Skalierungsgesetzen eingeführt und im gesamten Feld weiterverwendet wird. Es ist eine Näherung: Sie zählt die großen Matrixmultiplikationen und behandelt alles andere als vernachlässigbar, was bei großen Modellen gut zutrifft.
Warum ist das Training dreimal teurer?
Das Training führt den Vorwärtsdurchlauf und anschließend einen Rückwärtsdurchlauf zur Berechnung der Gradienten aus. Der Rückwärtsdurchlauf berechnet Gradienten bezüglich sowohl der Aktivierungen als auch der Gewichte, jeweils etwa zu den Kosten des Vorwärtsdurchlaufs, sodass der Rückwärtsdurchlauf etwa das Doppelte des Vorwärtsdurchlaufs ausmacht und das Ganze etwa das Dreifache beträgt — sechs Operationen pro Parameter und Token.
Die Multiplikation von 6N mit der Gesamtzahl der Token in einem Datensatz ist die übliche Methode, um das Rechenbudget eines Trainingslaufs zu schätzen.
Schließt dies die Attention ein?
Nein. Die 2N- und 6N-Regeln zählen nur die parametertragenden Matrixmultiplikationen. Der Attention-Mechanismus fügt einen Term hinzu, der mit der Sequenzlänge wächst und von der Parameterzahl unabhängig ist.
Für typische große Modelle bei moderaten Kontextlängen ist dieser Term klein im Verhältnis zu den Matrixmultiplikationen, sodass die Schätzung nah bleibt. Bei sehr langen Kontextlängen kann die Attention einen erheblichen Anteil ausmachen, und ein detaillierteres Modell ist erforderlich.
Haftungsausschluss
Dies sind Schätzungen erster Ordnung, die die dominierenden Matrixmultiplikationen zählen und Attention, Normalisierung und Embedding-Terme weglassen. Die tatsächlichen Operationszahlen hängen von der Architektur und der Kontextlänge ab. Verwenden Sie den Wert für Skalierungsvergleiche und Budgetschätzungen, nicht für eine exakte Hardware-Abrechnung.