Zuletzt aktualisiert: 2026-06-22

Einsparungen durch Prompt-Caching erklärt

Einsparungen durch Prompt-Caching sind die Senkung der Eingabekosten eines Aufrufs eines großen Sprachmodells (LLM), die sich daraus ergibt, dass ein Teil des Prompts aus dem Cache bereitgestellt wird. Wiederholt sich ein stabiler Anfangsteil – ein System-Prompt, Werkzeugdefinitionen oder gemeinsam genutzter Kontext – über mehrere Aufrufe hinweg, speichert der Anbieter dessen verarbeitete Form und rechnet spätere Lesevorgänge dieser Token zu einem reduzierten Tarif ab. Die Ersparnis ist die Differenz zwischen den Eingabekosten ohne Caching und den Eingabekosten, sobald der zwischengespeicherte Anteil vergünstigt wird.

Funktionsweise

Sei $n$ die Gesamtzahl der Eingabe-Token, $f$ der aus dem Cache bereitgestellte Anteil, $p$ der reguläre Eingabepreis je Million Token und $d$ der Cache-Rabatt – der Anteil, der für einen Lesevorgang aus dem Cache vom Tarif abgezogen wird. Die Grundlinie ohne Caching rechnet jedes Token zum vollen Tarif ab:

Mit Caching wird der nicht zwischengespeicherte Anteil n(1-f) zum vollen Tarif und der zwischengespeicherte Anteil $nf$ zum vergünstigten Tarif p(1-d) abgerechnet:

Die Ersparnis ist die Differenz, und die Ersparnisquote ist diese Differenz bezogen auf die Grundlinie:

Rechenbeispiel

Betrachtet wird ein Aufruf mit 10.000 Eingabe-Token, von denen 70 % aus dem Cache stammen, einem regulären Eingabepreis von $3 je Million und einem Cache-Rabatt von 90 %. Die Grundlinie ohne Caching beträgt:

Die 3.000 nicht zwischengespeicherten Token kosten 0.003 \cdot 3 = \0.009$. Die 7.000 zwischengespeicherten Token werden zu 10$0.007 \cdot 3 \cdot 0.1 = $0.0021$, sodass die Kosten mit Caching$$0.009 + $0.0021 = $0.0111$ betragen. Die Ersparnis ist:

eine Senkung der Eingabekosten um $0.0189 / 0.03 = 63\%$. Die Zahl je Aufruf ist klein, skaliert jedoch mit dem Aufrufvolumen – eine Arbeitslast von einer Million solcher Aufrufe spart in der Größenordnung von $18,900.

Varianten

Die Ersparnis steigt sowohl mit dem zwischengespeicherten Anteil als auch mit dem Rabatt. Ein höherer Anteil $f$ – getrieben von einem größeren stabilen Anfangsteil – verschiebt mehr Token auf den vergünstigten Tarif, während ein steilerer Rabatt $d$ die Lücke zwischen den beiden Tarifen vergrößert. Bei f = 1 und d = 0.9 sinken die Eingabekosten um die vollen 90 %. Wiederholt sich nur wenig des Prompts oder fallen Wiederholungen außerhalb des Cache-Fensters, ist $f$ klein und die Senkung gering. Caching gilt nur für Eingabe-Token; Ausgabe-Token werden ungeachtet dessen zum regulären Tarif abgerechnet.

Anwendung

Prompt-Caching ist am wirksamsten für Agenten und Chat-Systeme, die bei jeder Runde einen großen, festen Kontext erneut senden, wobei der wiederholte Anfangsteil die Eingabe beherrscht. Die Kosten mit Caching fließen in die Schätzungen je Aufruf und je Monat im Token-Kosten-Rechner und Rechner für monatliche LLM-Kosten ein. Caching und Stapelverarbeitung sind voneinander unabhängige Rabatte, die auf dieselbe Arbeitslast anwendbar sind; für die asynchrone Alternative siehe Rechner für Einsparungen durch die Batch-API, und um den zugrunde liegenden Preis als Kaufkraft zu lesen, siehe Rechner für Token pro Geldeinheit.