Zuletzt aktualisiert: 2026-06-22

Effektive Tokens pro Sekunde

Die Spitzen-Tokenrate eines einzelnen Beschleunigers ist eine Benchmark-Zahl, die in seinem besten Moment erfasst wird. Der Durchsatz, den eine ganze Bereitstellung über einen Tag tatsächlich aufrechterhält, ist etwas anderes: Der Verkehr schwankt, Beschleuniger laufen teilweise leer, und Kapazität wird für Spitzen zurückgehalten. Dieser Rechner schätzt diese nachhaltige Rate auf Flottenebene aus der Spitze je Beschleuniger, der Anzahl der Beschleuniger und einem Auslastungsfaktor — die Größe, an der Sie die Kapazität planen sollten.

Spitze gegenüber nachhaltigem Durchsatz

Es ist leicht, die Kapazität durch das Aufsummieren von Spitzenwerten zu überschätzen. Die Spitze setzt voraus, dass jeder Beschleuniger in jedem Augenblick mit vollen Stapeln gesättigt ist, was über eine reale Flotte und über reale Zeit nie zutrifft. Die Nachfrage ist ungleichmäßig, die Lastverteilung ist unvollkommen, und Betreiber halten bewusst Reserven vor, um Anstiege abzufangen. Der Auslastungsfaktor fasst all das in einem Multiplikator zusammen und verwandelt eine optimistische Obergrenze in eine Zahl, die Sie einer Arbeitslast zusagen können.

Die Formel

wobei $v_g$ die Spitze je Beschleuniger in Tokens pro Sekunde ist, $G$ die Anzahl der Beschleuniger, $u$ der Auslastungsanteil, $v_{eff}$ der nachhaltige Durchsatz und $T_d$ die pro Tag bedienten Tokens (ein Tag hat 86.400 Sekunden). Der Durchsatz skaliert nahezu linear mit der Anzahl der Beschleuniger, wenn jeder einen unabhängigen Anteil des Verkehrs trägt.

Rechenbeispiel

Nehmen Sie eine Flotte von 8 Beschleunigern, jeder per Benchmark bei voller Bündelung auf 2500 Tokens pro Sekunde ermittelt, die mit 70 % Auslastung läuft:

Die Flotte hält 14.000 Tokens pro Sekunde aufrecht und kann etwa 1,2 Milliarden Tokens am Tag bedienen. Beachten Sie, wie weit das unter der naiven Spitze von 20.000 Tokens pro Sekunde liegt — die 30 % der Kapazität, die durch unvollkommene Auslastung verloren gehen, sind genau der Spielraum, den bessere Bündelung und Planung zurückgewinnen könnten.

Die Nutzung zur Planung

Vergleichen Sie die Tokens-pro-Tag-Größe mit der erwarteten Nachfrage: Teilen Sie die Nachfrage durch diese Kapazität, um zu ermitteln, wie viele Flotten dieser Größe nötig sind, und fügen Sie dann eine Marge für Spitzen über dem Durchschnitt hinzu. Da die Ausgabe sowohl mit der Anzahl der Beschleuniger als auch mit der Auslastung steigt, lässt sich ein Ziel entweder durch den Kauf zusätzlicher Hardware oder durch höhere Auslastung erreichen — Letzteres ist meist der günstigere Hebel. Die Spitze je Beschleuniger selbst stammt aus einem gebündelten Benchmark, der im Batch-Inferenz-Durchsatz-Rechner behandelt wird, und die Kostenfolge eines Betriebs unter voller Auslastung wird im GPU-Auslastungskosten-Rechner behandelt.