Última atualização: 2026-06-22

Latência de inferência

A latência de inferência é o tempo que um usuário espera para um modelo de linguagem responder. Em uma conclusão por streaming ela tem duas partes distintas: a pausa inicial antes de qualquer texto aparecer e o ritmo constante de tokens que se segue. Esta calculadora combina ambas com o comprimento da resposta para estimar o tempo de resposta de ponta a ponta e a vazão que uma única requisição efetivamente experimenta.

Tempo até o primeiro token e tempo por token de saída

Duas medições descrevem um endpoint de streaming. O tempo até o primeiro token ($t_{ttft}$) é o atraso entre o envio da requisição e a visualização do primeiro token. Ele abrange a leitura do prompt, a construção do cache de atenção para cada token do prompt — a fase de prefill, limitada por computação — e a decodificação de um token. Prompts longos o aumentam. O tempo por token de saída ($t_{tpot}$), também chamado de latência entre tokens, é o intervalo entre cada token subsequente durante a fase de decode. A decodificação é limitada pela largura de banda de memória: cada novo token lê o conjunto completo de pesos do modelo uma vez, de modo que esse valor permanece aproximadamente constante e seu inverso é a velocidade de geração em regime permanente, em tokens por segundo.

A fórmula

O primeiro token já está incluído no tempo até o primeiro token, portanto cada um dos tokens restantes acrescenta um intervalo entre tokens:

em que $N_{out}$ é o número de tokens de saída, $T$ é o tempo total de resposta e $v$ é a vazão geral. O termo menos um mantém a contagem exata; para respostas longas, ele mal altera o resultado.

Exemplo resolvido

Suponha que um endpoint informe um tempo até o primeiro token de 200 ms e um tempo por token de saída de 20 ms — uma velocidade de geração em regime permanente de 50 tokens por segundo — e que o modelo produza uma resposta de 500 tokens:

A resposta leva cerca de dez segundos, e a vazão geral de 49,1 tokens por segundo fica logo abaixo dos 50 tokens por segundo brutos porque o atraso fixo do primeiro token se dilui por toda a resposta. A diferença entre os dois valores diminui para respostas mais longas e aumenta para respostas curtas, em que a pausa de inicialização domina.

Reduzindo a latência

O tempo até o primeiro token responde a prompts mais curtos, cache de prompts e hardware de prefill mais rápido. O tempo por token de saída responde a maior largura de banda de memória, quantização e técnicas como decodificação especulativa, que emitem mais de um token por passagem do modelo. Como o tempo total cresce a cada token gerado, limitar o comprimento máximo de saída costuma ser a alavanca mais direta para aplicações interativas. Para explorar como a aceitação do modelo de rascunho altera o valor por token, consulte a Calculadora de Aceleração da Decodificação Especulativa, e para modelar a capacidade no nível da frota, veja a Calculadora de Tokens por Segundo Efetivos.