Última atualização: 2026-06-22

A economia com cache de prompt explicada

A economia com cache de prompt é a redução do custo de entrada de uma chamada a um modelo de linguagem que advém de servir parte do prompt a partir do cache. Quando um prefixo estável — um prompt de sistema, definições de ferramentas ou contexto compartilhado — se repete entre chamadas, o provedor armazena sua forma processada e fatura as leituras subsequentes desses tokens a uma tarifa reduzida. A economia é a diferença entre o custo de entrada sem cache e o custo de entrada uma vez aplicado o desconto à parcela em cache.

Como funciona

Seja $n$ o total de tokens de entrada, $f$ a fração servida do cache, $p$ o preço padrão de entrada por milhão de tokens e $d$ o desconto de cache — a proporção descontada da tarifa em uma leitura de cache. A linha de base sem cache fatura todos os tokens à tarifa integral:

Com o cache, a parcela sem cache n(1-f) é faturada à tarifa integral e a parcela em cache $nf$ à tarifa com desconto p(1-d):

A economia é a diferença, e a taxa de economia é essa diferença sobre a linha de base:

Exemplo resolvido

Tome uma chamada de 10.000 tokens de entrada com 70% em cache, um preço padrão de entrada de $3 por milhão e um desconto de cache de 90%. A linha de base sem cache é:

Os 3.000 tokens sem cache custam 0.003 \cdot 3 = \0.009$. Os 7.000 tokens em cache são faturados a 10$0.007 \cdot 3 \cdot 0.1 = $0.0021$, de modo que o custo com cache é$$0.009 + $0.0021 = $0.0111$. A economia é:

uma redução de $0.0189 / 0.03 = 63\%$ no custo de entrada. O valor por chamada é pequeno, mas escala com o volume de chamadas — uma carga de trabalho de um milhão dessas chamadas economiza na ordem de $18.900.

Variações

A economia cresce tanto com a fração em cache quanto com o desconto. Uma fração $f$ mais alta — impulsionada por um prefixo estável maior — move mais tokens para a tarifa com desconto, enquanto um desconto $d$ mais acentuado amplia a diferença entre as duas tarifas. Com f = 1 e d = 0.9, o custo de entrada cai os 90% completos. Quando pouco do prompt se repete, ou as repetições ficam fora da janela do cache, $f$ é pequeno e a redução é modesta. O cache se aplica apenas a tokens de entrada; os tokens de saída são faturados à tarifa padrão independentemente.

Aplicação

O cache de prompt é mais eficaz para agentes e sistemas de conversa que reenviam um contexto grande e fixo a cada turno, em que o prefixo repetido domina a entrada. O custo com cache alimenta as estimativas por chamada e mensais em Calculadora de Custo por Token e Calculadora de Custo Mensal de LLM. O cache e o processamento em lote são descontos independentes que podem se aplicar à mesma carga de trabalho; para a alternativa assíncrona, consulte Calculadora de Economia com API em Lote, e para ler o preço subjacente como poder de compra, consulte Calculadora de Tokens por Unidade Monetária.