Última atualização: 2026-06-22

O planejamento de limite de taxa de LLM explicado

O planejamento de limite de taxa de modelo de linguagem grande (LLM) é o processo de determinar a taxa sustentável de requisições, e a concorrência em andamento que ela implica, que os limites de API de um provedor permitem para uma dada carga de trabalho. As APIs de inferência hospedadas limitam a vazão em dois eixos independentes: tokens por minuto (TPM), o número de tokens — entrada mais saída — que a conta pode processar a cada minuto, e requisições por minuto (RPM), o número de chamadas de API permitidas a cada minuto independentemente do seu tamanho. O teto que for atingido primeiro define o limite.

Qual limite é vinculante

Uma carga de trabalho com um custo médio de tokens por chamada converte o teto de TPM em um teto equivalente de requisições. Dividir o orçamento de tokens por minuto pelos tokens consumidos por requisição fornece as requisições por minuto que o limite de tokens, sozinho, permite:

em que $L_t$ é o limite de TPM e $n$ é os tokens por requisição. A taxa sustentável é o menor entre esse teto derivado dos tokens e o teto explícito de RPM $L_r$:

Se $R_t < L_r$, o limite de tokens é vinculante; se $R_t \ge L_r$, o limite de requisições é vinculante. Trabalhos com muitos tokens (contexto longo, respostas extensas) tendem a ser limitados por tokens; chamadas pequenas de alta frequência tendem a ser limitadas por requisições.

Concorrência pela lei de Little

A taxa sustentável por segundo é $R_s = R / 60$. A lei de Little, um resultado de teoria de filas que afirma que o número médio de itens em um sistema é igual à taxa de chegada multiplicada pelo tempo médio que cada um passa nele, converte essa taxa e a latência média da requisição $t_L$ na concorrência $C$ que deve ser executada em paralelo para manter o canal cheio:

Exemplo resolvido

Considere um limite de TPM de $L_t = 2\,000\,000$, um limite de RPM de $L_r = 10\,000$ e uma média de n = 2,000 tokens por requisição. O teto derivado dos tokens é

Como 1,000 < 10,000, o limite de tokens é vinculante: a vazão é limitada a 1.000 requisições por minuto, não às 10.000 anunciadas. A uma latência média de $t_L = 20$ segundos, a taxa por segundo é $R_s = 1\,000 / 60 \approx 16.7$, de modo que a concorrência necessária é

Sustentar a taxa significa, portanto, manter cerca de 333 requisições em andamento ao mesmo tempo. Como a carga de trabalho é limitada por tokens, elevar o teto de RPM não ajudaria; reduzir os tokens por requisição — por prompts mais curtos, respostas menores ou Calculadora de Economia com Cache de Prompt — ou solicitar uma alocação maior de TPM ajudaria.

Variações e aplicação

Quando as requisições são limitadas por requisições, agrupar vários itens por chamada eleva a vazão efetiva, enquanto aparar tokens não. A latência entra apenas pela lei de Little: dobrar $t_L$ dobra a concorrência que uma taxa fixa exige, de modo que modelos mais rápidos relaxam o dimensionamento de pools de conexão e filas. O valor de concorrência alimenta a configuração do cliente — contagens de workers, limites de semáforo, pools de conexão — e a taxa sustentável alimenta projeções de custo pela Calculadora de Custo Mensal de LLM. Como as contagens de tokens variam por requisição e os provedores podem enfileirar ou permitir rajadas, os valores de regime permanente são uma referência de planejamento a validar com o tráfego real.