Inferenz-Latenz-Rechner
Eingaben
| Zeit bis zum ersten Token | 200 ms |
|---|---|
| Zeit pro Ausgabe-Token | 20 ms |
| Ausgabe-Tokens | 500 |
Inferenz-Latenz-Rechner
Schätzt die Gesamtantwortzeit einer gestreamten LLM-Antwort aus der Zeit bis zum ersten Token, der Zeit pro Ausgabe-Token und der Anzahl der Ausgabe-Tokens.
Eingaben
Serving-Profil
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Inferenz-Latenz
Die Inferenz-Latenz ist die Zeit, die ein Nutzer auf die Antwort eines Sprachmodells wartet. Bei einer gestreamten Antwort besteht sie aus zwei unterschiedlichen Teilen: der anfänglichen Pause, bevor überhaupt Text erscheint, und dem anschließenden gleichmäßigen Rhythmus der Tokens. Dieser Rechner kombiniert beide mit der Länge der Antwort, um die Gesamtantwortzeit und den Durchsatz zu schätzen, den eine einzelne Anfrage tatsächlich erfährt.
Zeit bis zum ersten Token und Zeit pro Ausgabe-Token
Zwei Messgrößen beschreiben einen Streaming-Endpunkt. Die Zeit bis zum ersten Token () ist die Verzögerung vom Senden der Anfrage bis zum Erscheinen des ersten Tokens. Sie umfasst das Lesen des Prompts, den Aufbau des Attention-Caches für jedes Prompt-Token — die rechengebundene Prefill-Phase — und das Decodieren eines Tokens. Lange Prompts verlängern sie. Die Zeit pro Ausgabe-Token (), auch Inter-Token-Latenz genannt, ist der Abstand zwischen den nachfolgenden Tokens während der Decode-Phase. Das Decodieren ist speicherbandbreitengebunden: Jedes neue Token liest einmal den gesamten Satz der Modellgewichte, sodass dieser Wert annähernd konstant bleibt und sein Kehrwert die stationäre Generierungsgeschwindigkeit in Tokens pro Sekunde ist.
Die Formel
Das erste Token ist bereits in der Zeit bis zum ersten Token enthalten, sodass jedes der verbleibenden Tokens einen Inter-Token-Abstand hinzufügt:
Tv=tttft+(Nout−1)ttpot=TNoutDabei ist die Anzahl der Ausgabe-Tokens, die Gesamtantwortzeit und der Gesamtdurchsatz. Der Minus-eins-Term hält die Anzahl exakt; bei langen Antworten verändert er das Ergebnis kaum.
Rechenbeispiel
Angenommen, ein Endpunkt meldet eine Zeit von 200 ms bis zum ersten Token und 20 ms pro Ausgabe-Token — eine stationäre Generierungsgeschwindigkeit von 50 Tokens pro Sekunde — und das Modell erzeugt eine Antwort mit 500 Tokens:
Tv=0.2+(500−1)×0.02=0.2+9.98=10.18 s=10.18500≈49.1 tokens/sDie Antwort dauert etwa zehn Sekunden, und der Gesamtdurchsatz von 49,1 Tokens pro Sekunde liegt knapp unter den reinen 50 Tokens pro Sekunde, weil sich die feste Verzögerung bis zum ersten Token über die gesamte Antwort verteilt. Der Abstand zwischen beiden Werten schrumpft bei längeren Antworten und vergrößert sich bei kurzen, bei denen die Startpause überwiegt.
Reduzierung der Latenz
Die Zeit bis zum ersten Token reagiert auf kürzere Prompts, Prompt-Caching und schnellere Prefill-Hardware. Die Zeit pro Ausgabe-Token reagiert auf höhere Speicherbandbreite, Quantisierung und Techniken wie spekulatives Decodieren, das mehr als ein Token pro Modelldurchlauf ausgibt. Da die Gesamtzeit mit jedem generierten Token wächst, ist die Begrenzung der maximalen Ausgabelänge bei interaktiven Anwendungen oft der direkteste Hebel. Um zu untersuchen, wie die Akzeptanz eines Entwurfsmodells den Wert pro Token verändert, siehe den Rechner für die Beschleunigung durch spekulatives Dekodieren, und um die Kapazität auf Flottenebene zu modellieren, siehe den Rechner für effektive Tokens pro Sekunde.
Häufig gestellte Fragen (FAQ)
Was ist der Unterschied zwischen der Zeit bis zum ersten Token und der Zeit pro Ausgabe-Token?
Die Zeit bis zum ersten Token (Time to First Token, TTFT) misst die anfängliche Wartezeit: Das Modell liest den gesamten Prompt, füllt den Attention-Cache und gibt das erste Token aus. Die Zeit pro Ausgabe-Token (Time per Output Token, TPOT) oder Inter-Token-Latenz misst die anschließende gleichmäßige Taktung, bei der jedes neue Token nur einen Decodierschritt benötigt.
Die TTFT skaliert mit der Promptlänge und wird von der rechenintensiven Prefill-Phase dominiert, während die TPOT durch die Speicherbandbreite während des Decodierens bestimmt wird und pro Token annähernd konstant bleibt.
Warum multipliziert die Formel mit der Anzahl der Ausgabe-Tokens minus eins?
Das erste Token ist bereits in der Zeit bis zum ersten Token enthalten, sodass nur die verbleibenden Tokens eine Inter-Token-Verzögerung hinzufügen. Eine Antwort mit 500 Tokens fügt daher nach dem ersten Token 499 Inter-Token-Abstände hinzu. Bei langen Antworten ist der Unterschied zwischen der Multiplikation mit der Anzahl und mit der Anzahl minus eins gering, doch die Minus-eins-Form ist exakt.
Wie lässt sich die Serving-Latenz reduzieren?
Die Zeit bis zum ersten Token sinkt mit kürzeren Prompts, Prompt-Caching und schnellerer Prefill-Hardware; die Zeit pro Ausgabe-Token sinkt mit höherer Speicherbandbreite, Quantisierung oder spekulativem Decodieren. Die Begrenzung der maximalen Ausgabelänge ist oft der einfachste Hebel, da die Gesamtzeit mit jedem generierten Token wächst.
Haftungsausschluss
Die Ergebnisse setzen einen einzelnen ununterbrochenen Stream mit konstanter Latenz pro Token voraus. Reale Serving-Systeme variieren mit Batching, Warteschlangen, Netzwerklaufzeit und Last, weshalb der Wert als Planungsschätzung und nicht als Service-Level-Garantie zu verstehen ist.