Dernière mise à jour : 2026-06-22

Échauffement du taux d'apprentissage

Le taux d'apprentissage est l'hyperparamètre le plus déterminant de l'entraînement des réseaux de neurones, et les transformeurs modernes le maintiennent rarement constant. La recette standard le fait monter de zéro vers un pic sur les premières étapes, puis le fait décroître selon une courbe en cosinus vers un plancher modeste pour le reste de l'entraînement. Ce calcul renvoie le taux d'apprentissage à n'importe quelle étape choisie selon ce calendrier, ainsi que la part de l'entraînement consacrée à l'échauffement.

Pourquoi le taux évolue dans le temps

Au début de l'entraînement, les poids sont aléatoires et les estimations courantes des statistiques de gradient tenues par l'optimiseur ne sont pas fiables : de grandes mises à jour peuvent faire diverger la perte. Un court échauffement, durant lequel le taux monte linéairement de zéro, maintient les premières mises à jour faibles pendant que l'optimiseur se stabilise. Une fois l'échauffement terminé, un taux élevé accélère les progrès, mais le conserver élevé jusqu'à la fin laisse le modèle osciller autour d'un minimum sans s'y poser. Faire décroître le taux — ici selon une courbe en cosinus — permet au modèle de faire de grands pas tôt, puis des pas de plus en plus fins à mesure qu'il converge.

Le calendrier

Deux phases régissent le taux. Pendant l'échauffement, tant que l'étape courante $s$ ne dépasse pas la longueur d'échauffement $w$, le taux monte linéairement jusqu'au pic $\eta_{max}$. Après l'échauffement, il suit une décroissance en cosinus du pic vers le plancher $\eta_{min}$ sur les étapes restantes jusqu'au total $S$.

La fraction d'échauffement vaut simplement $w / S$. À la moitié de la décroissance, le terme en cosinus est nul : le taux se situe alors exactement à mi-chemin entre le pic et le plancher.

Exemple chiffré

Soit un pic de 0,0003, un plancher de 0,00003, 2 000 étapes d'échauffement et 100 000 étapes au total. À l'étape 1 000 — encore dans l'échauffement — et à l'étape 51 000 — la moitié de la décroissance —, les taux valent

À mi-échauffement, le taux vaut la moitié du pic. À la moitié de la décroissance, où le cosinus est nul, il se place exactement entre le pic et le plancher. L'échauffement couvre ici 2 000 des 100 000 étapes, soit 2 % de l'entraînement.

Choisir les valeurs

Le taux de pic domine le calendrier et se détermine en général empiriquement, souvent par un test de plage qui augmente le taux jusqu'à ce que la perte cesse de diminuer. Les pics publiés pour les grands transformeurs se situent couramment entre environ 1e-4 et 6e-4, et le pic tend à varier avec la taille de lot : changer la taille de lot effective appelle donc généralement un nouveau réglage. Un échauffement de quelques centaines à quelques milliers d'étapes, souvent un petit pourcentage de l'entraînement, est usuel. Le plancher est fréquemment fixé à environ un dixième du pic, ou à zéro lorsqu'une décroissance complète est souhaitée.

Limites

Les cadres logiciels diffèrent dans des détails que ce modèle ne capte pas : certains mesurent le calendrier en jetons plutôt qu'en étapes, d'autres paramètrent le plancher comme un rapport du pic, et d'autres ajoutent une queue finale constante ou linéaire. La forme cosinus avec échauffement retenue ici est le réglage par défaut courant, mais les bons hyperparamètres dépendent du problème et doivent être confirmés par l'expérience. Le calcul que représente un nombre d'étapes donné est estimé par le Temps et coût d'entraînement, et la facture matérielle correspondante par le Calculateur de coût GPU cloud.