Calculadora de Tokens por Segundo Efetivos
Entradas
| Pico de tokens por segundo por acelerador | 2.500 |
|---|---|
| Aceleradores | 8 |
| Utilização | 70 % |
Calculadora de Tokens por Segundo Efetivos
Estime a vazão de tokens sustentada de uma frota de inferência a partir da velocidade de pico por acelerador, do número de aceleradores e da utilização — a capacidade realista, não o pico de fluxo único.
Entradas
Frota
Resultados
Insira um valor para ver os resultados.
Detalhes
Tokens por segundo efetivos
O pico de taxa de tokens de um único acelerador é um número de benchmark capturado em seu melhor momento. A vazão que toda uma implantação efetivamente sustenta ao longo de um dia é outra coisa: o tráfego oscila, aceleradores ficam parcialmente ociosos e parte da capacidade é reservada para picos. Esta calculadora estima essa taxa sustentada, no nível da frota, a partir do pico por acelerador, do número de aceleradores e de um fator de utilização — o valor com que se deve planejar a capacidade.
Pico versus vazão sustentada
É fácil superestimar a capacidade somando números de pico. O pico pressupõe que cada acelerador está saturado com lotes cheios a todo instante, o que nunca se mantém em uma frota real ao longo do tempo real. A demanda é irregular, o balanceamento de carga é imperfeito e os operadores deliberadamente mantêm folga para absorver surtos. O fator de utilização incorpora tudo isso em um único multiplicador, transformando um teto otimista em um número que se pode prometer a uma carga de trabalho.
A fórmula
veffTd=vg⋅G⋅u=veff⋅86400em que é o pico por acelerador em tokens por segundo, é o número de aceleradores, é a fração de utilização, é a vazão sustentada e são os tokens atendidos por dia (há 86.400 segundos em um dia). A vazão escala de forma quase linear com a contagem de aceleradores quando cada um carrega uma parcela independente do tráfego.
Exemplo resolvido
Tome uma frota de 8 aceleradores, cada um medido em benchmark a 2.500 tokens por segundo sob batching completo, operando a 70% de utilização:
veffTd=2500×8×0.7=14000 tokens/s=14000×86400≈1.21×109 tokens/diaA frota sustenta 14.000 tokens por segundo e consegue atender cerca de 1,2 bilhão de tokens por dia. Note o quanto isso fica abaixo do pico ingênuo de 20.000 tokens por segundo — os 30% de capacidade perdidos para a utilização imperfeita são exatamente a folga que melhor batching e agendamento poderiam recuperar.
Usando para planejamento
Compare o valor de tokens por dia com a demanda esperada: divida a demanda por essa capacidade para descobrir quantas frotas desse tamanho são necessárias e, então, acrescente margem para picos acima da média. Como a saída cresce tanto com a contagem de aceleradores quanto com a utilização, uma meta pode ser atingida comprando mais hardware ou elevando a utilização — esta última opção costuma ser a alavanca mais barata. O próprio pico por acelerador vem de um benchmark em lote, explorado na Calculadora de Throughput de Inferência em Lote, e a consequência de custo de operar abaixo da utilização plena é tratada na Calculadora de Custo de Utilização de GPU.
Perguntas frequentes (FAQ)
Como isso difere da vazão de pico?
A vazão de pico é o que um único acelerador alcança em um momento em que está totalmente em lote e saturado. A vazão efetiva é o que uma frota inteira sustenta ao longo do tempo, uma vez que o mundo real intervém: o tráfego chega de forma irregular, alguns aceleradores ficam parcialmente ociosos, os lotes nem sempre estão cheios e parte da capacidade é mantida em reserva para picos.
Multiplicar o pico por acelerador pela contagem de aceleradores fornece um teto teórico; multiplicar pela utilização o reduz a um número que se pode efetivamente prometer. O planejamento de capacidade deve usar o valor efetivo, não o de pico.
De onde vem o pico por acelerador?
Ele é mais bem medido fazendo benchmark do modelo específico no hardware específico no tamanho de lote que se pretende executar, porque depende do tamanho do modelo, da precisão, do comprimento da sequência e da pilha de atendimento.
Como verificação de sanidade, um teto de largura de banda de memória fornece um limite superior para a decodificação de fluxo único, e o atendimento em lote o multiplica pelo número de requisições simultâneas. Use um valor de benchmark quando tiver um, e o teto apenas como um limite otimista.
Como uso isto para planejamento de capacidade?
Compare a vazão efetiva, ou o valor de tokens por dia, com a demanda esperada. Se uma carga de trabalho precisa de um certo número de tokens por dia, divida-o pela capacidade diária para descobrir quantas frotas desse tamanho são necessárias e, então, acrescente folga para picos acima da média.
Como a saída escala tanto com a contagem de aceleradores quanto com a utilização, é possível atingir uma meta adicionando hardware ou elevando a utilização por meio de melhor batching e agendamento — esta última opção costuma ser mais barata.
Aviso legal
Isto pressupõe que a vazão escala linearmente com a contagem de aceleradores e que um único fator de utilização captura todas as perdas do mundo real. Rede, balanceamento de carga, comprimentos de sequência irregulares e latência de cauda podem reduzir ainda mais a saída sustentada. Faça benchmark no hardware-alvo e mantenha folga acima da demanda média.