Última atualização: 2026-06-22

A economia com API em lote explicada

A economia com API em lote é a redução de custo de submeter uma carga de trabalho de um modelo de linguagem pelo endpoint em lote assíncrono de um provedor em vez do endpoint em tempo real. Uma API em lote aceita um conjunto de requisições e as processa dentro de uma janela de conclusão informada em vez de imediatamente, e como o provedor pode agendar o trabalho com flexibilidade ao longo de sua capacidade, ele fatura a vazão a um desconto fixo. A economia é a diferença entre o custo em tempo real e o custo em lote com desconto.

Como funciona

O custo em tempo real combina os tokens de entrada e de saída às respectivas tarifas por milhão. Com $n_{\text{in}}$ e $n_{\text{out}}$ tokens tarifados a $p_{\text{in}}$ e $p_{\text{out}}$ por milhão:

O desconto de lote $d$ é uma proporção fixa removida desse custo total, cobrindo tanto a entrada quanto a saída:

Como o desconto é fixo, a economia escala diretamente com o tamanho da carga de trabalho e com a taxa de desconto.

Exemplo resolvido

Tome uma carga de trabalho de 1.000.000 de tokens de entrada e 200.000 de saída, tarifada a $3 por milhão de entrada e $15 por milhão de saída, com um desconto de lote de 50%. O custo em tempo real é:

O custo em lote é a metade disso:

de modo que a economia é \6 - $3 = $3undefined3 cada — porque o maior preço de saída compensa o menor volume de saída.

Variações

O desconto se aplica uniformemente, então a economia em dólares cresce em proporção à conta: uma carga de trabalho dez vezes maior economiza dez vezes mais ao mesmo desconto. Como a saída é faturada mais alto que a entrada, lotes com muita geração carregam uma economia absoluta maior para as mesmas contagens de tokens. A restrição central é a latência. O processamento em lote é assíncrono — os resultados chegam dentro da janela de conclusão do provedor, não de forma síncrona — então convém a trabalhos que não precisam de resposta imediata: classificação em massa, sumarização, execuções de avaliação ou geração de conteúdo offline. Requisições interativas e voltadas ao usuário não se enquadram.

Aplicação

A economia em lote é uma alavanca de vazão offline, aplicada depois que o volume de tokens de uma carga de trabalho é conhecido. Os custos em tempo real e em lote alimentam as estimativas mais amplas em Calculadora de Custo por Token e Calculadora de Custo Mensal de LLM. O lote e o cache são descontos independentes que podem se acumular no mesmo trabalho; para o desconto de entrada decorrente de prefixos repetidos, consulte Calculadora de Economia com Cache de Prompt, e para ler uma tarifa por milhão como tokens por unidade de gasto, consulte Calculadora de Tokens por Unidade Monetária.