Última atualização: 2026-06-22

VRAM para inferência de LLM

Servir um modelo de linguagem grande começa com uma pergunta direta: ele caberá na GPU? A resposta é dominada pelos pesos do modelo, mas os pesos sozinhos subestimam a necessidade, porque um servidor de inferência também precisa manter o cache KV, as ativações que percorrem cada camada e alguma memória perdida para a fragmentação. Esta calculadora estima a VRAM total a partir de três entradas — o número de parâmetros, a precisão em que os pesos são armazenados e uma sobrecarga de execução que reúne o restante em um único valor ajustável.

Os pesos definem o piso

Os pesos de um modelo são seu maior custo fixo de memória. Cada parâmetro é armazenado em uma precisão escolhida: pesos completos de 16 bits ocupam dois bytes cada, a quantização de 8 bits ocupa um byte e a de 4 bits ocupa meio byte. Assim, um número de parâmetros $N$ em bilhões, armazenado a $b$ bits, ocupa

Um bilhão de parâmetros de 16 bits dá exatamente 2 GB, e é por isso que um modelo 7B precisa de 14 GB só para os pesos. Dividir a contagem de bits por oito converte bits em bytes, e como os parâmetros são contados em bilhões e a memória em gigabytes, as unidades se alinham diretamente.

Adicionando a sobrecarga de execução

Os pesos são apenas o piso. Durante a inferência, o servidor mantém um cache KV com as chaves e os valores de atenção de cada token em processamento, aloca ativações conforme cada requisição passa pelas camadas e perde um pouco de memória para a fragmentação. O total é

onde $o$ é a sobrecarga expressa como fração do tamanho dos pesos. O cache KV é o componente maior e mais variável — ele cresce com o comprimento do contexto e o número de requisições simultâneas — então a sobrecarga adequada depende muito da carga de trabalho. Vinte por cento é um ponto de partida razoável para prompts curtos em lotes modestos; serviço de contexto longo e alta vazão pode elevar isso bem mais.

Exemplo resolvido

Considere um modelo de 7 bilhões de parâmetros servido em precisão de 16 bits com 20 por cento de sobrecarga:

O total de 16,8 GB cabe confortavelmente em uma placa de 24 GB, mas não deixa espaço em uma de 16 GB. Para rodar o mesmo modelo em uma GPU menor, baixar para 8 bits reduziria os pesos à metade, para 7 GB, e levaria o total para perto de 8,4 GB. A relação entre o tamanho do modelo e a precisão é explorada em mais detalhe em Calculadora de Tamanho do Modelo por Quantização.

Fazendo um modelo caber

Como a memória escala diretamente com os bits por peso, a quantização é a alavanca mais direta: de 16 para 8 bits reduz à metade a memória dos pesos, e de 8 para 4 bits a reduz novamente à metade, geralmente com uma perda modesta e aceitável na qualidade da saída. Quando mesmo um modelo quantizado excede um único acelerador, as alternativas são dividir os pesos entre várias GPUs ou descarregar parte do modelo na memória do sistema, a um custo acentuado de velocidade. Estimar quantos aceleradores um modelo precisa é tratado em Calculadora de Número de GPUs por Modelo. Trate o número aqui como uma estimativa de planejamento e confirme-o contra uma execução real de serviço, já que o framework, o comprimento do contexto e o tamanho do lote alteram o número verdadeiro.