Última atualização: 2026-06-22

Tamanho do cache KV

Durante a inferência de um transformer, o modelo presta atenção a cada token visto até então. Para evitar recomputar os vetores de chave e valor de todo o contexto a cada passo de geração, ele os armazena e os reutiliza — o cache de chave-valor. Esse cache costuma ser o maior consumidor de memória do acelerador no serviço de contexto longo, às vezes maior que os próprios pesos do modelo. Esta calculadora estima seu tamanho a partir do número de camadas, do número de cabeças de chave/valor, da dimensão da cabeça, do comprimento do contexto, do tamanho do lote e dos bytes usados por número armazenado.

Por que o cache existe

Gerar texto um token de cada vez significa que cada novo token precisa prestar atenção a todos os tokens anteriores. Sem um cache, cada passo reprocessaria todo o prompt e toda a saída anterior, fazendo o custo da geração crescer com o quadrado do comprimento da sequência. Ao manter as chaves e os valores dos tokens passados, o modelo transforma cada passo em um trabalho proporcional apenas ao novo token. O preço dessa velocidade é memória: um par de vetores — uma chave e um valor — para cada camada, cada cabeça de chave/valor e cada token em contexto.

A fórmula

O cache mantém dois tensores, chaves e valores, então o tamanho em bytes é

onde $L$ é o número de camadas, $H$ o número de cabeças de chave/valor, $d$ a dimensão da cabeça, $s$ o comprimento do contexto em tokens, $B$ o tamanho do lote e $e$ os bytes por elemento armazenado. Dividir por $10^9$ dá gigabytes. O tamanho cresce linearmente com cada fator, que é a intuição central: dobrar o contexto, o lote ou o número de camadas dobra o cache.

Atenção de consulta agrupada

O número de cabeças de chave/valor $H$ é o alvo da atenção de consulta agrupada (GQA). Na atenção multi-cabeça simples, cada cabeça de consulta tem seu próprio par de chave/valor. A GQA permite que um grupo de cabeças de consulta compartilhe uma única cabeça de chave/valor, e a atenção de consulta única compartilha apenas uma em toda a camada. Como o cache escala com $H$, passar de 32 cabeças de chave/valor para 8 reduz o cache a um quarto, enquanto as cabeças de consulta — e a maior parte da qualidade do modelo — permanecem no lugar. A maioria dos grandes modelos recentes vem com GQA exatamente por essa razão.

Exemplo resolvido

Considere um modelo com 32 camadas, 32 cabeças de chave/valor, uma dimensão de cabeça de 128, mantendo 4.096 tokens de contexto, servindo uma única sequência em precisão de 16 bits:

o que dá cerca de 2,15 GB. Servir quatro sequências dessas ao mesmo tempo quadruplica esse valor, para aproximadamente 8,59 GB. Mudar o cache para precisão de 8 bits reduziria qualquer uma dessas cifras à metade.

Lendo o resultado

Como cada fator multiplica linearmente, o serviço de contexto longo e lote grande os empilha e o cache pode superar os pesos. É por isso que os motores de inferência de produção se apoiam na quantização do cache para menos bytes por elemento, na GQA para reduzir as cabeças de chave/valor e na atenção paginada para empacotar o cache sem fragmentação. O lado de computação do mesmo orçamento de hardware aparece em Calculadora de Memória da Atenção, e a parte dos pesos do modelo em Calculadora de VRAM para Inferência de LLM.