Última actualización: 2026-06-22

FLOPs de entrenamiento

El cómputo necesario para entrenar un modelo de lenguaje grande está dominado por una sola magnitud: el número de operaciones en coma flotante que se realizan a lo largo de toda la ejecución de entrenamiento. Para los transformadores densos, esa magnitud se aproxima bien con la regla 6ND, que establece que entrenar cuesta unas seis operaciones por cada parámetro y cada token procesado. Esta calculadora aplica esa regla: a partir de un número de parámetros y un número de tokens, devuelve tanto el recuento bruto de operaciones como su equivalente en petaFLOP/s-días.

La regla 6ND

Una pasada hacia delante de un transformador realiza aproximadamente dos operaciones en coma flotante por parámetro y por token: una multiplicación y una suma en las multiplicaciones de matrices que dominan el trabajo. El entrenamiento añade una pasada hacia atrás que propaga los gradientes tanto a las activaciones como a los pesos, con un coste cercano al doble de la pasada hacia delante. Las pasadas hacia delante y hacia atrás juntas suman unas seis operaciones por parámetro y por token. Con $N$ parámetros y $D$ tokens de entrenamiento, el total se aproxima entonces a $6\,N\,D$. La estimación recoge las capas lineales dominantes y omite contribuciones menores de la atención, los embeddings y la normalización, insignificantes en modelos grandes.

La fórmula

Con el factor de pasada $k$ (seis para un paso de entrenamiento, dos para una pasada hacia delante únicamente), el número de parámetros $N$ en miles de millones y el número de tokens $D$ en miles de millones, el recuento total de operaciones y el cómputo en petaFLOP/s-días son

donde $C$ son los FLOPs totales y $P$ es el cómputo en petaFLOP/s-días. El factor $10^{18}$ devuelve los miles de millones de $N$ y $D$ a recuentos absolutos. Un petaFLOP/s-día equivale a un petaFLOP/s sostenido durante un día, igual a $10^{15} \times 86\,400 = 8.64 \times 10^{19}$ operaciones, de modo que dividir entre esa cifra convierte un recuento bruto de FLOPs en la unidad en la que suelen reportarse las ejecuciones grandes.

Ejemplo resuelto

Considérese un modelo de 70 mil millones de parámetros entrenado con 1.400 mil millones de tokens, una proporción de veinte tokens por parámetro acorde con la práctica de cómputo óptimo:

La ejecución necesita unas $5.88 \times 10^{23}$ operaciones, o aproximadamente 6.806 petaFLOP/s-días. Cambiar el factor de pasada a dos reporta solo el coste de la pasada hacia delante, un tercio del total de entrenamiento.

Límites

La regla 6ND es un recuento idealizado de aritmética, no una predicción del tiempo real ni del coste. El hardware real solo sostiene una fracción de su rendimiento máximo, de modo que el tiempo efectivo resulta de dividir este cómputo entre la tasa realmente alcanzada y no entre la anunciada, una brecha que recoge la calculadora de Calculadora de aprovechamiento de FLOPs del modelo. La estimación también omite el recálculo de activaciones, los pasos del optimizador, las pasadas de evaluación y cualquier ejecución que falle y se reinicie, todo lo cual se suma al cómputo gastado en la práctica. La cuestión complementaria de cuántos tokens debería ver un modelo de un tamaño dado la aborda la calculadora de Calculadora de tokens óptimos de Chinchilla, y convertir este cómputo en un presupuesto de alquiler lo trata la calculadora de Calculadora de coste de GPU en la nube.