System-Prompt-Amortisations-Rechner
Eingaben
| System-Prompt-Token | 1.200 |
|---|---|
| Anzahl der Aufrufe | 1.000 |
| Eingabepreis (pro 1 Mio. Token) | 3 $ |
| Rabatt für Cache-Lesevorgänge | 90 % |
System-Prompt-Amortisations-Rechner
Schätzen Sie, wie viel Prompt-Caching bei einem langen System-Prompt spart, der bei jedem LLM-Aufruf erneut gesendet wird. Vergleichen Sie die Kosten des ungecachten Wiederholens des Präfixes mit den vergünstigten Kosten bei Caching.
Eingaben
System-Prompt
Preise und Caching
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
System-Prompt-Amortisation
Die System-Prompt-Amortisation ist die Praxis, die Kosten eines festen Prompt-Präfixes über viele Aufrufe zu verteilen, statt sie bei jedem einzelnen vollständig zu zahlen. Ein System-Prompt — die Anweisungen, die Rolle und der stabile Kontext, die der Nachricht des Nutzers vorangehen — wird bei jeder Anfrage erneut gesendet, weil das Modell zwischen Aufrufen nichts behält. Ohne Eingreifen bezahlen tausend Anfragen dieses Präfix tausendmal. Das Prompt-Caching speichert das Präfix einmal und liefert späteren Anfragen eine vergünstigte Kopie, sodass die festen Kosten über das Aufrufvolumen amortisiert werden. Dieser Rechner stellt die Gesamtsummen ohne und mit Caching gegenüber und weist die Ersparnis aus.
Warum der Prompt wiederkehrt
Ein Modell ist zustandslos: Jeder Aufruf ist eigenständig, und alles, was das Modell wissen muss, muss in der Eingabe dieses Aufrufs vorhanden sein. Ein langer System-Prompt ist daher keine einmalige Einrichtungskostenposition, sondern eine Abgabe je Aufruf, die jedes Mal zum Eingabe-Token-Satz berechnet wird. Je länger der Prompt und je häufiger er gesendet wird, desto größer ist der Anteil der Rechnung, den er verbraucht — was genau die Bedingung ist, unter der Caching am meisten bewirkt.
Wie Caching die Rechnung verändert
Beim ersten Aufruf schreibt der Anbieter das Präfix in einen Cache und berechnet es zu etwa dem normalen Eingabesatz. Jeder spätere Aufruf, der dasselbe Präfix wiederverwendet, liest es mit einem deutlichen Rabatt zurück — oft rund einem Zehntel des Standardsatzes. Das wiederholte Präfix wird somit für alle Anfragen außer der ersten zum gecachten Satz berechnet.
Die Formel
Bei einem System-Prompt von Token zu einem Eingabepreis pro Million sind die ungecachten Kosten des einmaligen Sendens und die ungecachte Gesamtsumme über Aufrufe
CcallCu=106tsysp=Ccall⋅nBei einem Rabatt für Cache-Lesevorgänge kostet jeder gecachte Lesevorgang , und die gecachte Gesamtsumme bezahlt das vollständige Präfix einmal beim ersten Aufruf zuzüglich eines vergünstigten Lesevorgangs bei jedem Aufruf:
Cc=Ccall(1−d)n+Ccall,Csave=Cu−CcRechenbeispiel
Betrachten Sie einen System-Prompt von 2400 Token zu einem Eingabepreis von $3 pro Million, gesendet über 6000 Aufrufe mit einem Rabatt von 90 % für Cache-Lesevorgänge. Die ungecachten Kosten pro Aufruf sind
Ccall=1062400×3=$0,0072sodass die ungecachte Gesamtsumme
Cu=0,0072×6000=$43,20beträgt. Ein gecachter Lesevorgang kostet 0{,}0072 \times (1 - 0{,}90) = \0{,}00072$, was eine gecachte Gesamtsumme von
Cc=0,00072×6000+0,0072=4,32+0,0072=$4,33ergibt. Die Ersparnis ist 43{,}20 - 4{,}33 = \38{,}87$, etwa eine Verringerung von 90 % beim System-Prompt-Anteil der Rechnung. Der Rabatt gilt nur für das feste Präfix; die variable Nutzernachricht in jedem Aufruf wird in beiden Fällen normal berechnet.
Hinweise und Varianten
Das Modell setzt voraus, dass das Präfix stabil ist und wiederverwendet wird, solange der Cache warm ist. Caches verfallen nach einer Phase der Inaktivität, sodass weit auseinanderliegende Aufrufe die Schreibkosten erneut tragen können; cachbare Mindestlängen und die genaue Bepreisung von Schreibvorgängen variieren je nach Anbieter. Ein kurzer Prompt oder eine niedrige Aufrufzahl lässt wenig zu amortisieren. Die Ersparnis ist am größten bei einem langen, stabilen Prompt, der häufig in einem kurzen Zeitfenster aufgerufen wird.
Anwendung
Dieser Rechner konzentriert sich auf das System-Prompt-Präfix. Um Caching über eine beliebige Mischung gecachter und ungecachter Eingabe-Token innerhalb eines einzelnen Aufrufs zu modellieren, siehe Rechner für Einsparungen durch Prompt-Caching. Um die zugrunde liegende Token-Nutzung pro Aufruf zu bepreisen, aus der diese Zahlen stammen, siehe Token-Kosten-Rechner.
Häufig gestellte Fragen (FAQ)
Was bedeutet die Amortisation eines System-Prompts?
Ein System-Prompt ist ein festes Präfix, das bei jedem Aufruf erneut gesendet wird, sodass ohne Caching seine Eingabekosten bei jeder Anfrage vollständig anfallen — tausend Aufrufe bezahlen den Prompt tausendmal.
Ihn zu amortisieren bedeutet, einmal für die Speicherung des Prompts zu bezahlen und diese gespeicherte Kopie anschließend zu einem reduzierten Satz wiederzuverwenden, sodass sich die festen Kosten dünn über das Aufrufvolumen verteilen, statt zum vollen Preis wiederholt zu werden. Je länger der Prompt und je höher die Aufrufzahl, desto mehr lässt sich amortisieren.
Wie reduziert das Prompt-Caching die Kosten?
Beim ersten Aufruf schreibt der Anbieter das Prompt-Präfix in einen Cache und berechnet es zum oder nahe dem normalen Eingabesatz. Bei jedem späteren Aufruf, der dasselbe Präfix wiederverwendet, wird der gecachte Teil mit einem deutlichen Rabatt zurückgelesen — häufig rund einem Zehntel des Standardsatzes.
Das wiederholte Präfix wird daher für alle Anfragen außer der ersten zum gecachten Satz berechnet, woraus die Ersparnis entsteht. Das Modell verarbeitet den variablen Teil jedes Prompts weiterhin zum normalen Satz.
Wann lohnt sich Caching nicht?
Caching zahlt sich aus, wenn dasselbe Präfix oft und zeitnah wiederverwendet wird. Bei einem kurzen Prompt gibt es wenig zu amortisieren, sodass die Ersparnis in absoluten Zahlen gering ausfällt.
Caches verfallen zudem nach einer Phase der Inaktivität, sodass weit auseinanderliegende Aufrufe jeweils die Schreibkosten tragen können, ohne von einem Lesevorgang zu profitieren. Und wenn sich das Präfix zwischen Aufrufen ändert — andere Anweisungen oder wechselnder Kontext —, gibt es keinen stabilen Block zum Cachen. Caching hilft am meisten bei einem langen, stabilen und häufig aufgerufenen Prompt.
Haftungsausschluss
Dies ist ein vereinfachtes Modell: Cache-Schreibkosten, Verfallsfenster und cachbare Mindestlängen variieren je nach Anbieter und werden hier näherungsweise abgebildet. Veröffentlichte Preise und Rabattsätze ändern sich im Laufe der Zeit. Überprüfen Sie die aktuellen Sätze, Caching-Bedingungen und exakten Token-Anzahlen bei Ihrem Anbieter, bevor Sie sich für die Abrechnung auf eine Zahl verlassen.