Última actualización: 2026-06-22

Calentamiento de la tasa de aprendizaje

La tasa de aprendizaje es el hiperparámetro de mayor consecuencia en el entrenamiento de redes neuronales, y los transformadores modernos rara vez la mantienen constante. La receta estándar la sube de cero a un máximo a lo largo de los primeros pasos, y luego la hace decaer según una curva coseno hacia un pequeño mínimo durante el resto de la ejecución. Esta calculadora devuelve la tasa de aprendizaje en cualquier paso elegido según ese calendario, junto con la fracción del entrenamiento dedicada al calentamiento.

Por qué la tasa cambia con el tiempo

Al principio del entrenamiento los pesos son aleatorios y las estimaciones del optimizador de las estadísticas del gradiente no son fiables, de modo que las actualizaciones grandes pueden hacer divergir la pérdida. Un breve calentamiento, durante el cual la tasa asciende linealmente desde cero, mantiene pequeñas las actualizaciones tempranas mientras el optimizador se estabiliza. Una vez terminado el calentamiento, una tasa alta acelera el progreso, pero mantenerla alta hasta el final deja al modelo oscilando alrededor de un mínimo en lugar de asentarse. Hacer decaer la tasa —aquí según una curva coseno— permite al modelo dar pasos grandes al inicio y pasos progresivamente más finos a medida que converge.

El calendario

Dos fases gobiernan la tasa. Durante el calentamiento, mientras el paso actual $s$ es como mucho la longitud del calentamiento $w$, la tasa sube linealmente hasta el máximo $\eta_{max}$. Tras el calentamiento, sigue un decaimiento coseno del máximo hacia el mínimo $\eta_{min}$ a lo largo de los pasos restantes hasta el total $S$.

La fracción de calentamiento es simplemente $w / S$. En el punto medio del decaimiento el término coseno es cero, de modo que la tasa se sitúa exactamente a mitad de camino entre el máximo y el mínimo.

Ejemplo resuelto

Tómese un máximo de 0,0003, un mínimo de 0,00003, 2.000 pasos de calentamiento y 100.000 pasos totales. En el paso 1.000 —aún dentro del calentamiento— y en el paso 51.000 —el punto medio del decaimiento— las tasas son

A la mitad del calentamiento la tasa es la mitad del máximo. En el punto medio del decaimiento, donde el coseno es cero, queda exactamente entre el máximo y el mínimo. El calentamiento aquí abarca 2.000 de 100.000 pasos, o el 2 % de la ejecución.

Elección de los valores

La tasa máxima domina el calendario y suele hallarse de forma empírica, a menudo con una prueba de rango que eleva la tasa hasta que la pérdida deja de mejorar. Los máximos publicados para transformadores grandes suelen situarse entre aproximadamente 1e-4 y 6e-4, y el máximo tiende a escalar con el tamaño de lote, de modo que cambiar el tamaño de lote efectivo suele exigir reajustarlo. Un calentamiento de unos cientos a unos miles de pasos, a menudo un pequeño porcentaje de la ejecución, es lo habitual. El mínimo se fija con frecuencia en torno a una décima parte del máximo, o en cero cuando se busca un decaimiento completo.

Límites

Los marcos de trabajo difieren en detalles que este modelo no recoge: algunos miden el calendario en tokens en lugar de pasos, otros parametrizan el mínimo como una proporción del máximo y otros añaden una cola final constante o lineal. La forma coseno con calentamiento de aquí es el predeterminado habitual, pero los hiperparámetros correctos dependen del problema y conviene confirmarlos mediante experimentación. El cómputo que representa un número de pasos dado lo estima la calculadora de Calculadora de tiempo y coste de entrenamiento, y la factura del hardware que hay detrás la calculadora de Calculadora de coste de GPU en la nube.