Última atualização: 2026-06-22

Número de parâmetros do Transformer

O tamanho de um modelo de linguagem grande costuma ser citado como um único número de destaque — sete bilhões, setenta bilhões —, mas esse valor é determinado inteiramente por um punhado de escolhas arquiteturais. Dados o número de camadas, o tamanho oculto, a expansão feed-forward e o vocabulário, o número total de parâmetros segue de uma fórmula curta. Esta calculadora aplica essa fórmula para dar uma estimativa de primeira ordem, o mesmo raciocínio de verso de envelope usado para dimensionar um modelo antes de existir qualquer peso.

Onde os parâmetros ficam

Quase todo peso em um transformer apenas-decodificador fica em um de três lugares. A subcamada de atenção de cada bloco contém quatro matrizes de peso quadradas — as projeções de consulta, chave, valor e saída —, cada uma de tamanho oculto por oculto. A subcamada feed-forward contém duas matrizes que expandem o fluxo oculto para uma dimensão interna mais larga e o projetam de volta. E, à parte da pilha de camadas, a tabela de embeddings de tokens armazena um vetor de tamanho oculto para cada entrada do vocabulário.

Contar isso dá a estimativa de arquitetura. O bloco de atenção contribui com cerca de $4d^2$ valores por camada, onde $d$ é o tamanho oculto. O bloco feed-forward, expandindo para uma largura interna de $m \cdot d$, contribui com cerca de $2 m d^2$. A tabela de embeddings contribui com o tamanho do vocabulário $V$ vezes $d$.

A fórmula

Com $L$ camadas, tamanho oculto $d$, multiplicador feed-forward $m$ e tamanho do vocabulário $V$, o número total de parâmetros é

O primeiro termo reúne os pesos de atenção e feed-forward por camada em todas as camadas; o segundo é a tabela de embeddings. Como o termo por camada escala com o quadrado do tamanho oculto, a largura do modelo importa muito mais do que a profundidade: dobrar o tamanho oculto quase quadruplica a contagem, enquanto dobrar as camadas apenas a dobra.

Exemplo resolvido

Considere um modelo com 32 camadas, tamanho oculto de 4096, expansão feed-forward de quatro e um vocabulário de 32.000 tokens. O fator por camada é $4 + 2 \times 4 = 12$, então

A pilha de camadas responde por quase tudo; a tabela de embeddings adiciona apenas cerca de 131 milhões, pouco mais de dois por cento. Com a expansão comum de quatro, cerca de dois terços de cada camada ficam nos pesos feed-forward e um terço na atenção.

O que a estimativa deixa de fora

Esta é uma contagem de primeira ordem. Ela captura as matrizes que dominam o total, mas omite os termos pequenos: vieses, os valores de escala e deslocamento da normalização de camada e quaisquer embeddings de posição aprendidos. Juntos, eles costumam ficar bem abaixo de um por cento de um modelo grande, então não alteram o valor de destaque. A estimativa também assume que o embedding de entrada e a projeção de saída compartilham uma matriz — embeddings amarrados —, de modo que a tabela é contada uma vez; um modelo com embeddings não amarrados carrega essa tabela duas vezes.

Uma vez conhecida a contagem, ela impulsiona as questões práticas da implantação. A memória necessária para manter os pesos depende da contagem e da precisão numérica, explorada na Calculadora de Tamanho do Modelo por Quantização. A memória necessária para treinar o mesmo modelo, que adiciona o estado do otimizador e as ativações sobre os pesos, é coberta na Calculadora de VRAM para Treinamento de LLM.