Última atualização: 2026-06-22

Número de GPUs por modelo

Um modelo de linguagem grande precisa caber na memória do acelerador antes de poder atender a um único token. Quando o modelo é maior do que uma GPU, ele é dividido entre várias, e a primeira pergunta de planejamento é simplesmente quantos dispositivos são necessários. Esta calculadora responde a isso a partir de três números: o total de VRAM que o modelo precisa, a memória de cada GPU e a fração dessa memória que uma implantação real consegue de fato usar.

Por que um modelo abrange várias GPUs

Um acelerador moderno carrega uma quantidade fixa de memória de alta largura de banda — 80 GB em uma H100, 141 GB em uma H200. Um modelo cujos pesos e buffers de execução excedem esse valor não pode viver em um único dispositivo, então é fragmentado. O paralelismo de tensores é o método usual: cada camada é dividida entre o grupo, cada GPU mantém uma fatia dos pesos, e os resultados parciais são costurados com uma etapa de comunicação coletiva em cada camada. O grupo então se comporta como um único dispositivo maior. O número que esta calculadora produz descreve esse único grupo fortemente acoplado, não um conjunto de réplicas independentes.

A memória utilizável fica abaixo do valor nominal

Uma GPU nunca entrega toda a sua memória anunciada ao modelo. O contexto CUDA, o alocador de cache do framework, os tensores de ativação e a fragmentação entre alocações tomam uma parcela, e durante o atendimento o cache de chave-valor cresce com o comprimento do contexto e o tamanho do lote. Tratar cerca de 80 a 90 por cento do valor nominal como utilizável deixa uma margem realista; aproximar-se do valor cheio convida a falhas de falta de memória sob carga.

A fórmula

Com requisito do modelo de $M$ gigabytes, memória por GPU de $g$ gigabytes e fração utilizável $f$, o número de dispositivos e a memória total são

onde $n$ é o número de GPUs e $T$ é a memória nominal combinada delas. O teto arredonda para cima porque um modelo não pode rodar em um acelerador fracionário.

Exemplo resolvido

Considere um modelo que precisa de 140 GB de VRAM em GPUs com 80 GB cada, com 90 por cento da memória utilizável:

Duas GPUs bastam, com 160 GB de memória nominal contra um requisito de 140 GB — folga confortável para o cache de chave-valor. Um modelo de 350 GB no mesmo hardware precisa de $\lceil 350 / 72 \rceil = 5$ GPUs.

Além do mínimo

O número aqui responde apenas à questão do ajuste. Adicionar aceleradores além desse ponto compra folga de memória — um cache de chave-valor maior, um lote maior, espaço para contextos mais longos — e eleva a vazão, em vez de mudar se o modelo cabe, enquanto a sobrecarga de comunicação da fragmentação corrói gradualmente a eficiência por GPU. Dimensionar para desempenho é um exercício separado. Para estimar o requisito de memória subjacente que alimenta a entrada $M$, veja a Calculadora de VRAM para Inferência de LLM, e para converter um número de dispositivos em um custo de execução, a Calculadora de Custo de GPU na Nuvem.