Learning-Rate-Warmup Rechner
Eingaben
| Spitzen-Lernrate | 0,0003 |
|---|---|
| Minimale Lernrate | 3e-5 |
| Warmup-Schritte | 2.000 |
| Schritte gesamt | 100.000 |
| Aktueller Schritt | 1.000 |
Learning-Rate-Warmup Rechner
Berechnet die Lernrate an jedem Trainingsschritt für den üblichen Transformer-Zeitplan: linearer Warmup zum Spitzenwert, gefolgt von Cosinus-Abfall zu einem Boden, samt Warmup-Anteil.
Eingaben
Zeitplan
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Learning-Rate-Warmup
Die Lernrate ist der folgenreichste Hyperparameter beim Training neuronaler Netze, und moderne Transformer halten sie selten konstant. Das übliche Rezept fährt sie über die ersten Schritte von null zu einem Spitzenwert hoch und lässt sie dann für den Rest des Laufs entlang einer Cosinus-Kurve zu einem kleinen Boden abfallen. Dieser Rechner liefert die Lernrate an jedem gewählten Schritt unter diesem Zeitplan, samt dem Anteil des Trainings, der im Warmup verbracht wird.
Warum sich die Rate über die Zeit ändert
Zu Beginn des Trainings sind die Gewichte zufällig und die laufenden Schätzungen der Gradienten-Statistiken des Optimierers unzuverlässig, sodass große Aktualisierungen den Verlust divergieren lassen können. Ein kurzer Warmup, während dessen die Rate linear von null steigt, hält die frühen Aktualisierungen klein, während sich der Optimierer stabilisiert. Ist der Warmup beendet, beschleunigt eine hohe Rate den Fortschritt, doch sie bis zum Ende hoch zu halten lässt das Modell um ein Minimum herumspringen, statt sich einzupendeln. Das Abfallen der Rate — hier entlang einer Cosinus-Kurve — erlaubt dem Modell früh große Schritte und mit fortschreitender Konvergenz zunehmend feinere.
Der Zeitplan
Zwei Phasen bestimmen die Rate. Während des Warmups, solange der aktuelle Schritt höchstens die Warmup-Länge beträgt, steigt die Rate linear zum Spitzenwert . Nach dem Warmup folgt sie einem Cosinus-Abfall vom Spitzenwert zum Boden über die verbleibenden Schritte bis zur Gesamtzahl .
ηη=ηmaxws=ηmin+21(ηmax−ηmin)(1+cosS−wπ(s−w))(s≤w)(s>w)Der Warmup-Anteil ist schlicht . Am Mittelpunkt des Abfalls ist der Cosinus-Term null, sodass die Rate genau in der Mitte zwischen Spitzenwert und Boden liegt.
Rechenbeispiel
Betrachtet seien ein Spitzenwert von 0,0003, ein Boden von 0,00003, 2.000 Warmup-Schritte und 100.000 Schritte gesamt. An Schritt 1.000 — noch innerhalb des Warmups — und an Schritt 51.000 — dem Mittelpunkt des Abfalls — lauten die Raten
η1000η51000=0.0003×20001000=0.00015=0.00003+21(0.0003−0.00003)(1+cos2π)=0.000165Auf halbem Weg durch den Warmup ist die Rate halb so hoch wie der Spitzenwert. Am Mittelpunkt des Abfalls, wo der Cosinus gleich null ist, landet sie genau zwischen Spitzenwert und Boden. Der Warmup umfasst hier 2.000 von 100.000 Schritten, also 2 % des Laufs.
Die Werte wählen
Die Spitzenrate dominiert den Zeitplan und wird meist empirisch gefunden, oft mit einem Bereichstest, der die Rate erhöht, bis der Verlust nicht mehr besser wird. Veröffentlichte Spitzenwerte für große Transformer liegen häufig zwischen rund 1e-4 und 6e-4, und der Spitzenwert skaliert tendenziell mit der Batch-Größe, sodass eine Änderung der effektiven Batch-Größe in der Regel ein erneutes Abstimmen erfordert. Ein Warmup von einigen hundert bis einigen tausend Schritten, oft ein kleiner Prozentsatz des Laufs, ist typisch. Der Boden wird häufig auf etwa ein Zehntel des Spitzenwerts gesetzt oder auf null, wenn voller Abfall gewünscht ist.
Grenzen
Frameworks unterscheiden sich in Details, die dieses Modell nicht erfasst: Manche messen den Zeitplan in Tokens statt in Schritten, manche parametrisieren den Boden als Verhältnis zum Spitzenwert, und manche fügen einen abschließenden konstanten oder linearen Ausläufer hinzu. Die Cosinus-mit-Warmup-Form ist hier der übliche Standard, doch die richtigen Hyperparameter sind problemspezifisch und sollten durch Experiment bestätigt werden. Die Rechenleistung, die eine gegebene Schrittzahl darstellt, schätzt der Trainingszeit und -kosten Rechner, und die dahinterstehende Hardware-Rechnung der GPU-Cloud-Kosten-Rechner.
Häufig gestellte Fragen (FAQ)
Warum die Lernrate aufwärmen, statt beim Spitzenwert zu beginnen?
Früh im Training verfügt der Optimierer über wenig verlässliche Information: Adaptive Verfahren haben verrauschte laufende Schätzungen der Gradienten-Statistiken, und die zufällig initialisierten Gewichte erzeugen große, sprunghafte Aktualisierungen. Ein Start bei der vollen Spitzenrate in diesem Zustand kann den Lauf destabilisieren oder divergieren lassen.
Das Hochfahren der Rate über die ersten Schritte lässt den Optimierer sich einpendeln, während die Aktualisierungen klein sind; danach kann die Spitzenrate sicher angewendet werden. Der Warmup ist besonders wichtig bei großen Batch-Größen und tiefen Transformern, wo die frühe Instabilität ausgeprägter ist.
Welchen Zeitplan bildet dieser Rechner ab?
Er bildet den Zeitplan ab, den die meisten modernen Transformer-Trainings verwenden: einen linearen Warmup von null zum Spitzenwert über die Warmup-Schritte, gefolgt von einem Cosinus-Abfall vom Spitzenwert zum Minimum über die verbleibenden Schritte. Die Cosinus-Form verweilt früh im Abfall länger nahe der hohen Rate und gleitet am Ende sanft in den Boden, was sich empirisch gut trainiert.
Andere Zeitpläne existieren — konstant, linearer Abfall, inverse Quadratwurzel und Stufenabfall —, doch linearer Warmup mit Cosinus-Abfall ist der übliche Standard, den dieses Werkzeug nachbildet.
Wie wird die Spitzen-Lernrate gewählt?
Die Spitzenrate ist der wichtigste Hyperparameter des Zeitplans und wird meist empirisch gefunden, oft mit einem kurzen Bereichstest, der die Rate erhöht, bis der Verlust nicht mehr besser wird, und dann zurückgeht.
Veröffentlichte Werte für große Transformer liegen bei den größten Modellen häufig zwischen rund 1e-4 und 6e-4, wobei kleinere Modelle etwas höhere Raten vertragen. Der Spitzenwert skaliert in der Regel mit der Batch-Größe, sodass eine Änderung der effektiven Batch-Größe meist ein erneutes Abstimmen erfordert.
Haftungsausschluss
Dies bildet den üblichen Zeitplan aus linearem Warmup und anschließendem Cosinus-Abfall nach; tatsächliche Frameworks unterscheiden sich in Details, etwa ob der Abfall in Schritten oder Tokens gemessen wird und wie das Minimum parametrisiert ist. Optimale Hyperparameter sind problemspezifisch und sollten empirisch bestätigt werden.