Zuletzt aktualisiert: 2026-06-22

Warum die Kosten über mehrere Runden wachsen

API-Aufrufe an große Sprachmodelle (LLM) sind zustandslos: Das Modell behält zwischen den Aufrufen keine Erinnerung, daher muss die Anwendung den bisherigen Gesprächsverlauf bei jeder Anfrage erneut als Kontext mitschicken, damit das Modell zusammenhängend bleibt. Dieser erneut gesendete Verlauf wird jedes Mal als Eingabe-Token abgerechnet. Mit zunehmender Länge eines Gesprächs trägt die Eingabe in jeder Runde den angesammelten Verlauf aller früheren Runden, sodass die Eingabe pro Runde wächst und die kumulierte Eingabe schneller als die Rundenanzahl steigt.

Die Formel

Sei $N$ die Anzahl der Runden, $n_{sys}$ der in jeder Runde erneut gesendete System-Prompt, $n_{turn}$ der pro Runde neu hinzukommende Verlauf (die Nutzernachricht plus die vorherige Antwort) und $n_{out}$ die Ausgabe pro Runde. In Runde $k$ beträgt die Eingabe $n_{sys} + (k-1)\,n_{turn}$. Summiert über alle Runden:

Der Dreiecksterm $\tfrac{N(N-1)}{2}$ ist quadratisch in $N$, weshalb lange Gespräche weit mehr kosten, als eine einzelne Runde vermuten lässt. Mit den Preisen pro Million Token $p_{in}$ und $p_{out}$:

Rechenbeispiel

Für N = 10 Runden, einen System-Prompt von 800 Token, 600 neue Token pro Runde, 400 Ausgabe-Token pro Runde, bei $3 pro Million Eingabe-Token und $15 pro Million Ausgabe-Token:

Das Gespräch kostet etwa 16,5 Cent. Der Verlaufsterm (27.000 Token) übersteigt die 8000 Token des wiederholten System-Prompts deutlich – der größte Teil der Eingabekosten entfällt auf das erneute Senden des wachsenden Transkripts, nicht auf die festen Anweisungen.

Der quadratische Effekt

Da $T_{in}$ mit $N^2$ skaliert, vervierfacht eine Verdopplung der Rundenanzahl die Eingabekosten ungefähr, statt sie zu verdoppeln. Eine 20-rundige Variante des obigen Beispiels würde $600 \cdot \tfrac{20 \cdot 19}{2} = 114\,000$ Verlaufs-Token erneut senden – über das Vierfache der 27.000 bei zehn Runden. Dieses Aufschaukeln ist eine Eigenschaft des erneuten Sendens des vollständigen Verlaufs, unabhängig vom Preis pro Token.

Gegenmaßnahmen

Das Wachstum lässt sich verringern, indem der angesammelte Verlauf seltener oder zu einem niedrigeren Satz bezahlt wird: Das Zusammenfassen oder Kürzen alter Runden begrenzt, wie viel Verlauf erneut gesendet wird, während Prompt-Caching dem Anbieter erlaubt, wiederholten Kontext zu einem reduzierten Satz abzurechnen. Die Einsparung durch das Caching des statischen Teils des Kontexts lässt sich mit Rechner für Einsparungen durch Prompt-Caching abschätzen. Um zu bestätigen, dass ein wachsendes Transkript noch in das Modell passt, bevor die Kosten überhaupt zum Thema werden, siehe Rechner zur Kontextfenster-Auslastung.