Calculadora de Utilização de FLOPs do Modelo
Entradas
| Carga de trabalho | Inferência (2N por token) |
|---|---|
| Parâmetros | 70 |
| Throughput de tokens | 2.000 |
| Throughput de pico | 989 |
Calculadora de Utilização de FLOPs do Modelo
Calcule a utilização de FLOPs do modelo (MFU): a parcela do throughput de ponto flutuante de pico de um acelerador que uma execução de modelo realmente atinge, a partir da contagem de parâmetros, do throughput de tokens e do pico em TFLOP/s.
Entradas
Carga de trabalho
Hardware
Resultados
Insira um valor para ver os resultados.
Detalhes
Utilização de FLOPs do modelo
A utilização de FLOPs do modelo, ou MFU (do inglês model FLOPs utilization), mede quanto da computação teórica de um acelerador uma execução de modelo realmente usa. Dois clusters com o mesmo hardware podem diferir em várias vezes na saída real, e a MFU é o número único que captura essa diferença: ela divide as operações de ponto flutuante que uma carga de trabalho genuinamente realiza pelo pico que o hardware anuncia. Esta calculadora a estima a partir da contagem de parâmetros, do throughput de tokens e do pico em TFLOP/s do acelerador.
O que a MFU indica
Os fabricantes de hardware anunciam uma taxa de pico — para um acelerador de data center atual, da ordem de mil TFLOP/s de 16 bits — que assume um fluxo perfeito de multiplicações-somas fundidas com os dados já nos registradores. Nenhuma carga de trabalho real sustenta isso. A MFU reporta a fração atingida, de modo que uma MFU de 40% significa que a execução extrai quarenta centavos de computação de cada real de pico teórico. É a régua padrão para avaliar se uma configuração de treinamento ou inferência está bem otimizada, e para decidir se uma mudança de fato ajudou.
A fórmula
Uma passagem direta custa cerca de duas operações de ponto flutuante por parâmetro por token; um passo de treinamento acrescenta uma passagem reversa, totalizando cerca de seis. Com o fator da carga de trabalho (dois para inferência, seis para treinamento), a contagem de parâmetros em bilhões e o throughput em tokens por segundo, a taxa atingida e a utilização são
AU=1000k⋅N⋅v=PAonde é o throughput atingido em TFLOP/s, é o pico em TFLOP/s somado sobre cada acelerador da execução e é a utilização. A divisão por 1000 converte bilhões de parâmetros vezes tokens por segundo em TFLOP/s.
Exemplo resolvido
Considere um modelo de 70 bilhões de parâmetros servindo inferência a 2.000 tokens por segundo em um único acelerador classificado em 989 TFLOP/s de computação densa de 16 bits:
AU=10002×70×2000=280 TFLOP/s=989280≈0.283=28.3%A execução usa pouco mais de um quarto do pico do chip — típico da decodificação limitada por memória, em que boa parte do tempo é gasta lendo pesos em vez de multiplicando. Um trabalho de treinamento de modelo grande bem ajustado, que é mais limitado por computação, ficaria com mais frequência entre 35% e 55%.
Por que nunca chega a 100%
Execuções reais perdem tempo com transferências de memória, comunicação entre aceleradores, bolhas de pipeline e camadas como atenção e normalização que não são multiplicações de matrizes puras. Uma utilização perfeita significaria que nenhuma dessas sobrecargas existe. O uso prático da MFU é comparativo: meça-a antes e depois de uma otimização na mesma carga de trabalho e hardware, e um número maior significa que mais da computação pela qual se paga está fazendo trabalho útil. A contagem de operações por token que conduz essa estimativa é explorada na Calculadora de FLOPs por Token, e o lado da largura de banda de memória do mesmo hardware na Calculadora de Vazão de Inferência.
Perguntas frequentes (FAQ)
O que conta como uma boa MFU?
No treinamento de modelos grandes, sistemas bem ajustados costumam reportar uma utilização de FLOPs do modelo entre aproximadamente 35% e 55%; o trabalho do PaLM, que popularizou a métrica, reportou cerca de 46%.
A utilização na inferência costuma ser menor durante a decodificação limitada por memória, porque o acelerador passa boa parte do tempo lendo pesos em vez de computar. Não existe uma meta universal — a comparação útil é contra a mesma carga de trabalho no mesmo hardware após uma otimização, em que um número maior significa que mais da computação paga está fazendo trabalho útil.
Por que o treinamento custa seis FLOPs por parâmetro e a inferência dois?
Uma passagem direta realiza cerca de duas operações de ponto flutuante por parâmetro por token — uma multiplicação e uma soma nas multiplicações de matrizes dominantes.
O treinamento acrescenta uma passagem reversa que calcula os gradientes em relação às ativações e aos pesos, o que custa cerca de duas vezes a passagem direta, dando aproximadamente seis operações por parâmetro por token no total. Essas são as estimativas padrão de primeira ordem; elas ignoram a atenção e outros termos que são pequenos para modelos grandes.
Por que a utilização não pode chegar a 100%?
O throughput de pico é uma cifra teórica para multiplicações-somas fundidas consecutivas com os dados já nos registradores.
Execuções reais perdem tempo com transferências de memória, comunicação entre aceleradores, bolhas de pipeline, camadas de atenção e normalização que não são multiplicações de matrizes puras, e kernels que não conseguem preencher perfeitamente as unidades de computação. Uma utilização próxima de um significaria que nenhuma dessas sobrecargas existe, o que nunca acontece na prática.
Aviso legal
A MFU usa estimativas de FLOP de primeira ordem (2N para inferência, 6N para treinamento) que omitem a atenção e outros termos menores, e assume que a cifra de pico corresponde à precisão e à contagem de aceleradores da execução. Trate-a como um indicador comparativo de eficiência, e não como uma contabilidade exata de cada operação.
Próximas sugestões
Calculadora de FLOPs por Token
Estime as operações de ponto flutuante que um transformer realiza por token usando as regras de 2N para inferência e 6N para treinamento, a partir da contagem de parâmetros do modelo em bilhões.
Calculadora de Vazão de Inferência
Estime o limite imposto pela largura de banda de memória sobre a velocidade de decodificação de um LLM a partir do tamanho do modelo, da precisão dos pesos e da largura de banda de memória do acelerador — o teto de tokens por segundo para um único fluxo.