Última actualización: 2026-06-22

Número de parámetros de un transformer

El tamaño de un modelo de lenguaje grande suele citarse como una única cifra de cabecera —siete mil millones, setenta mil millones—, pero ese número lo determinan por completo un puñado de elecciones de arquitectura. Dados el número de capas, el tamaño oculto, la expansión feed-forward y el vocabulario, el número total de parámetros se deduce de una fórmula breve. Esta calculadora aplica esa fórmula para dar una estimación de primer orden, el mismo razonamiento de servilleta que se usa para dimensionar un modelo antes de que exista un solo peso.

Dónde residen los parámetros

Casi todos los pesos de un transformer solo de decodificador se sitúan en uno de tres lugares. La subcapa de atención de cada bloque contiene cuatro matrices de pesos cuadradas —las proyecciones de consulta, clave, valor y salida—, cada una de tamaño oculto por oculto. La subcapa feed-forward contiene dos matrices que expanden el flujo oculto hacia una dimensión interna más ancha y lo proyectan de vuelta. Y, separada de la pila de capas, la tabla de embeddings de tokens guarda un vector de tamaño oculto por cada entrada del vocabulario.

Contar estos elementos da la estimación de arquitectura. El bloque de atención aporta unos $4d^2$ valores por capa, donde $d$ es el tamaño oculto. El bloque feed-forward, que se expande a una anchura interna de $m \cdot d$, aporta unos $2 m d^2$. La tabla de embeddings aporta el tamaño del vocabulario $V$ por $d$.

La fórmula

Con $L$ capas, tamaño oculto $d$, multiplicador feed-forward $m$ y tamaño del vocabulario $V$, el número total de parámetros es

El primer término reúne los pesos de atención y feed-forward por capa en todas las capas; el segundo es la tabla de embeddings. Como el término por capa escala con el cuadrado del tamaño oculto, la anchura del modelo importa mucho más que la profundidad: duplicar el tamaño oculto cuadruplica aproximadamente el número, mientras que duplicar las capas solo lo duplica.

Ejemplo resuelto

Tomemos un modelo con 32 capas, un tamaño oculto de 4096, una expansión feed-forward de cuatro y un vocabulario de 32 000 tokens. El factor por capa es $4 + 2 \times 4 = 12$, de modo que

La pila de capas representa casi todo; la tabla de embeddings añade solo unos 131 millones, algo más del dos por ciento. Con la expansión habitual de cuatro, cerca de dos tercios de cada capa residen en los pesos feed-forward y un tercio en la atención.

Qué deja fuera la estimación

Es un cálculo de primer orden. Capta las matrices que dominan el total pero omite los términos pequeños: los sesgos, los valores de escala y desplazamiento de la normalización de capas y cualquier embedding de posición aprendido. En conjunto suelen quedar bastante por debajo del uno por ciento de un modelo grande, de modo que no mueven la cifra de cabecera. La estimación también supone que el embedding de entrada y la proyección de salida comparten una matriz —embeddings atados—, de modo que la tabla se cuenta una vez; un modelo con embeddings no atados lleva esa tabla dos veces.

Una vez conocido el número, este impulsa las cuestiones prácticas del despliegue. La memoria necesaria para alojar los pesos depende del número y de la precisión numérica, algo que se explora en la Calculadora de tamaño de modelo según la cuantización. La memoria necesaria para entrenar el mismo modelo, que añade el estado del optimizador y las activaciones sobre los pesos, se trata en la Calculadora de VRAM para entrenar un LLM.