Última atualização: 2026-06-22

FLOPs por token

Quanto cálculo um modelo de linguagem consome em um único token? A resposta sustenta quase toda estimativa de ordem de grandeza na área — orçamentos de treinamento, custos de inferência e utilização de hardware partem dela. O atalho padrão é notavelmente simples: um transformer denso realiza cerca de duas operações de ponto flutuante por parâmetro para processar um token, e cerca de seis durante o treinamento. Esta calculadora aplica essas regras à contagem de parâmetros de um modelo.

A regra dos 2N

O custo computacional de um transformer é dominado por grandes multiplicações de matrizes, e em cada uma delas todo peso é acessado uma vez por token. Uma única multiplicação-acumulação conta como duas operações de ponto flutuante — uma multiplicação e uma soma —, de modo que empurrar um token através de um modelo com $N$ parâmetros custa cerca de duas operações por parâmetro, a regra dos 2N, na passagem direta. Essa é a estimativa do trabalho de leis de escala de Kaplan, e tornou-se a moeda universal para raciocinar sobre o custo computacional de modelos. Ela ignora deliberadamente tudo o que não é uma multiplicação de matriz ponderada por parâmetros, o que é uma boa aproximação para modelos grandes.

Custo de inferência e de treinamento

Treinar um modelo também exige uma passagem reversa para calcular os gradientes. A passagem reversa produz gradientes em relação tanto às ativações quanto aos pesos, cada um com custo aproximado ao da passagem direta, de modo que praticamente dobra o trabalho da passagem direta. O total fica em torno de três passagens diretas, ou seis operações por parâmetro por token (a estimativa dos 6N):

com o fator $k$ igual a dois para uma passagem direta e seis para um passo de treinamento. Como $N$ é informado em bilhões, o valor da passagem direta cai diretamente em GFLOPs.

Exemplo resolvido

Para um modelo de 70 bilhões de parâmetros em uma passagem direta:

Cada token gerado custa cerca de 140 GFLOPs. Multiplicar pela vazão total de um modelo fornece a taxa de cálculo alcançada, e dividir esse valor pelo pico de um acelerador fornece sua utilização. Treinar o mesmo modelo custaria $6 \times 70 = 420$ GFLOPs por token, e multiplicar o custo de treinamento pelo total de tokens de um conjunto de dados é a forma habitual de dimensionar o orçamento computacional de uma execução de treinamento.

O que fica de fora

A regra contabiliza apenas as multiplicações de matrizes que envolvem parâmetros. O mecanismo de atenção acrescenta um termo separado que cresce com o comprimento da sequência e não depende da contagem de parâmetros; para modelos típicos com comprimentos de contexto moderados ele é pequeno, mas em contextos muito longos pode tornar-se significativo. As camadas de embedding e normalização também são omitidas. Por essas razões, o valor é uma estimativa para escala e orçamento, não uma contagem exata de instruções. Para ver o cálculo alcançado como fração do pico do hardware, prossiga para a Calculadora de Utilização de FLOPs do Modelo.