Calcolatore della latenza di inferenza
Dati di input
| Tempo al primo token | 200 ms |
|---|---|
| Tempo per token in uscita | 20 ms |
| Token in uscita | 500 |
Calcolatore della latenza di inferenza
Stima il tempo di risposta complessivo di un completamento LLM in streaming a partire dal tempo al primo token, dal tempo per token in uscita e dal numero di token generati.
Dati di input
Profilo di servizio
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
La latenza di inferenza
La latenza di inferenza è il tempo che un utente attende perché un modello linguistico risponda. Per un completamento in streaming si compone di due parti distinte: la pausa iniziale prima che compaia del testo e il ritmo costante dei token che segue. Questo calcolatore combina entrambe con la lunghezza della risposta per stimare il tempo di risposta complessivo e il throughput che una singola richiesta sperimenta davvero.
Tempo al primo token e tempo per token in uscita
Due misure descrivono un endpoint in streaming. Il tempo al primo token () è il ritardo fra l'invio della richiesta e la comparsa del primo token. Comprende la lettura del prompt, la costruzione della cache di attenzione per ogni token del prompt — la fase di prefill, limitata dal calcolo — e la decodifica di un token. I prompt lunghi lo allungano. Il tempo per token in uscita (), detto anche latenza inter-token, è l'intervallo fra ciascun token successivo durante la fase di decode. La decodifica è limitata dalla larghezza di banda della memoria: ogni nuovo token legge una volta l'intero insieme dei pesi del modello, perciò questa cifra resta circa costante e il suo reciproco è la velocità di generazione a regime in token al secondo.
La formula
Il primo token è già incluso nel tempo al primo token, quindi ciascuno dei token rimanenti aggiunge un intervallo inter-token:
Tv=tttft+(Nout−1)ttpot=TNoutdove è il numero di token in uscita, è il tempo di risposta totale e è il throughput complessivo. Il termine meno uno mantiene esatto il conteggio; per risposte lunghe modifica appena il risultato.
Esempio svolto
Si supponga che un endpoint riporti un tempo al primo token di 200 ms e un tempo per token in uscita di 20 ms — una velocità di generazione a regime di 50 token al secondo — e che il modello produca una risposta di 500 token:
Tv=0,2+(500−1)×0,02=0,2+9,98=10,18 s=10,18500≈49,1 token/sLa risposta richiede circa dieci secondi, e il throughput complessivo di 49,1 token al secondo si colloca appena sotto i 50 token al secondo grezzi perché il ritardo fisso al primo token si distribuisce sull'intera risposta. Lo scarto fra le due cifre si riduce per risposte più lunghe e si amplia per quelle brevi, dove la pausa iniziale domina.
Ridurre la latenza
Il tempo al primo token risponde a prompt più brevi, alla cache dei prompt e a hardware di prefill più rapido. Il tempo per token in uscita risponde a maggiore larghezza di banda della memoria, alla quantizzazione e a tecniche come il decoding speculativo, che emettono più di un token per passaggio del modello. Poiché il tempo totale cresce con ogni token generato, limitare la lunghezza massima dell'uscita è spesso la leva più diretta per le applicazioni interattive. Per esaminare come l'accettazione del modello bozza modifichi la cifra per token, si veda il Calcolatore dello speedup del decoding speculativo, e per modellare la capacità a livello di flotta si veda l'Calcolatore dei token al secondo effettivi.
Domande frequenti (FAQ)
Qual è la differenza tra tempo al primo token e tempo per token in uscita?
Il tempo al primo token (TTFT, time to first token) misura l'attesa iniziale: il modello legge l'intero prompt, riempie la cache di attenzione ed emette il primo token. Il tempo per token in uscita (TPOT, time per output token), o latenza inter-token, misura la cadenza costante successiva, quando ogni nuovo token richiede un solo passo di decodifica.
Il TTFT cresce con la lunghezza del prompt ed è dominato dalla fase di prefill, intensa in calcolo, mentre il TPOT è determinato dalla larghezza di banda della memoria durante la decodifica e resta circa costante per token.
Perché la formula moltiplica per il numero di token in uscita meno uno?
Il primo token è già conteggiato nel tempo al primo token, quindi solo i token rimanenti aggiungono un ritardo inter-token. Una risposta di 500 token aggiunge perciò 499 intervalli inter-token dopo il primo token. Per risposte lunghe la differenza fra moltiplicare per il conteggio e per il conteggio meno uno è piccola, ma la forma meno uno è esatta.
Come si può ridurre la latenza di servizio?
Il tempo al primo token diminuisce con prompt più brevi, con la cache dei prompt e con hardware di prefill più rapido; il tempo per token in uscita diminuisce con maggiore larghezza di banda della memoria, con la quantizzazione o con il decoding speculativo. Limitare la lunghezza massima dell'uscita è spesso la leva più semplice, dato che il tempo totale cresce con ogni token generato.
Avvertenze legali
I risultati presuppongono un singolo flusso ininterrotto con latenza per token costante. I sistemi di servizio reali variano con batching, code, transito di rete e carico, perciò la cifra va intesa come stima di pianificazione e non come garanzia di livello di servizio.