Zuletzt aktualisiert: 2026-06-22

Einsparungen durch die Batch-API erklärt

Einsparungen durch die Batch-API bezeichnen die Kostensenkung, die entsteht, wenn eine Arbeitslast für ein großes Sprachmodell (LLM) über den asynchronen Batch-Endpunkt eines Anbieters statt über den Echtzeit-Endpunkt eingereicht wird. Eine Batch-API nimmt eine Sammlung von Anfragen entgegen und verarbeitet sie innerhalb eines angegebenen Abschlussfensters statt unmittelbar. Weil der Anbieter die Arbeit flexibel über seine Kapazität verteilen kann, rechnet er den Durchsatz zu einem einheitlichen Rabatt ab. Die Ersparnis ist die Differenz zwischen den Echtzeitkosten und den reduzierten Batch-Kosten.

Funktionsweise

Die Echtzeitkosten setzen sich aus Eingabe- und Ausgabe-Token zu ihren jeweiligen Tarifen je Million zusammen. Mit $n_{\text{in}}$ und $n_{\text{out}}$ Token, abgerechnet zu $p_{\text{in}}$ und $p_{\text{out}}$ je Million, gilt:

Der Batch-Rabatt $d$ ist ein einheitlicher Anteil, der von diesen Gesamtkosten abgezogen wird und sowohl Eingabe als auch Ausgabe umfasst:

Da der Rabatt einheitlich ist, skaliert die Ersparnis direkt mit dem Umfang der Arbeitslast und mit dem Rabattsatz.

Rechenbeispiel

Eine Arbeitslast umfasst 1.000.000 Eingabe-Token und 200.000 Ausgabe-Token, abgerechnet zu $3 je Million Eingabe und $15 je Million Ausgabe, bei einem Batch-Rabatt von 50 %. Die Echtzeitkosten betragen:

Die Batch-Kosten betragen die Hälfte davon:

Die Ersparnis beträgt somit \6 - $3 = $3, eine Reduktion um 50 %. Die Beiträge von Eingabe und Ausgabe sind hier zufällig gleich – jeweils \3 –, weil der höhere Ausgabepreis das kleinere Ausgabevolumen ausgleicht.

Varianten

Der Rabatt wird einheitlich angewendet, sodass die Ersparnis in absoluten Beträgen proportional zur Rechnung wächst: Eine zehnmal größere Arbeitslast spart beim selben Rabatt das Zehnfache. Da die Ausgabe höher abgerechnet wird als die Eingabe, tragen vervollständigungslastige Stapel bei gleichen Tokenzahlen eine größere absolute Ersparnis. Die entscheidende Einschränkung ist die Latenz. Die Stapelverarbeitung ist asynchron – die Ergebnisse treffen innerhalb des Abschlussfensters des Anbieters ein, nicht synchron –, sodass sie sich für Arbeit eignet, die keine unmittelbare Antwort benötigt: Massenklassifikation, Zusammenfassung, Auswertungsläufe oder Offline- Inhaltserstellung. Interaktive, dem Nutzer zugewandte Anfragen sind ungeeignet.

Anwendung

Die Batch-Ersparnis ist ein Hebel für den Offline-Durchsatz, der angewendet wird, sobald das Tokenvolumen einer Arbeitslast bekannt ist. Sowohl die Echtzeit- als auch die Batch-Kosten fließen in die umfassenderen Schätzungen von Token-Kosten-Rechner und Rechner für monatliche LLM-Kosten ein. Batch und Caching sind voneinander unabhängige Rabatte, die sich für denselben Auftrag stapeln lassen; für den Eingaberabatt aus wiederholten Präfixen siehe Rechner für Einsparungen durch Prompt-Caching, und um einen Tarif je Million als Token je Ausgabeeinheit zu lesen, siehe Rechner für Token pro Geldeinheit.