Última actualización: 2026-06-22

FLOPs por token

¿Cuánto cómputo dedica un modelo de lenguaje a un solo token? La respuesta sustenta casi cualquier estimación aproximada del campo: los presupuestos de entrenamiento, los costes de inferencia y el aprovechamiento del hardware parten todos de ahí. El atajo estándar es notablemente sencillo: un transformer denso realiza unas dos operaciones de coma flotante por parámetro para procesar un token, y unas seis durante el entrenamiento. Esta calculadora aplica esas reglas al número de parámetros de un modelo.

La regla 2N

El cómputo de un transformer está dominado por grandes multiplicaciones de matrices, y en cada una de ellas cada peso se toca una vez por token. Una sola multiplicación-acumulación cuenta como dos operaciones de coma flotante —una multiplicación y una suma—, así que empujar un token a través de un modelo con $N$ parámetros cuesta aproximadamente dos operaciones por parámetro, la regla 2N, en la pasada directa. Es la estimación del trabajo de leyes de escala de Kaplan, y se ha convertido en la moneda universal para razonar sobre el cómputo de los modelos. Ignora deliberadamente todo lo que no sea una multiplicación de matrices ponderada por parámetros, lo cual es una buena aproximación para los modelos grandes.

Coste de la pasada directa y del entrenamiento

Entrenar un modelo requiere además una pasada inversa para calcular los gradientes. La pasada inversa produce gradientes respecto a las activaciones y a los pesos, cada uno con un coste aproximado al de la pasada directa, de modo que duplica más o menos el trabajo de la directa. El total son unas tres pasadas directas, o seis operaciones por parámetro y por token (la estimación 6N):

con el factor $k$ igual a dos para una pasada directa y a seis para un paso de entrenamiento. Como $N$ se introduce en miles de millones, la cifra de la pasada directa cae directamente en GFLOPs.

Ejemplo resuelto

Para un modelo de 70 mil millones de parámetros en una pasada directa:

Cada token generado cuesta unos 140 GFLOPs. Multiplicar por el rendimiento total de un modelo da la tasa de cómputo alcanzada, y dividir esa cifra entre el máximo de un acelerador da su aprovechamiento. Entrenar el mismo modelo costaría $6 \times 70 = 420$ GFLOPs por token, y multiplicar el coste de entrenamiento por el total de tokens de un conjunto de datos es la forma habitual de dimensionar el presupuesto de cómputo de un entrenamiento.

Qué deja fuera

La regla cuenta únicamente las multiplicaciones de matrices con pesos. El mecanismo de atención añade un término aparte que crece con la longitud de la secuencia y no depende del número de parámetros; para los modelos típicos a longitudes de contexto moderadas es pequeño, pero a contextos muy largos puede volverse considerable. Las capas de incrustación y de normalización quedan igualmente omitidas. Por estas razones, la cifra es una estimación para escala y presupuesto, no un recuento exacto de instrucciones. Para ver el cómputo alcanzado como fracción del máximo del hardware, continúe en la Calculadora de aprovechamiento de FLOPs del modelo.