Token-Mehraufwand bei Function-Calling-Rechner
Eingaben
| Anzahl der Werkzeuge | 5 |
|---|---|
| Token pro Werkzeug | 80 |
| Anzahl der Aufrufe | 1.000 |
| Eingabepreis (pro 1 Mio. Token) | 3 $ |
| Rahmen-Token | 16 |
Token-Mehraufwand bei Function-Calling-Rechner
Schätzen Sie die Eingabe-Token und die Kosten dafür, einem LLM Werkzeuge bereitzustellen. Werkzeugdefinitionen — Name, Beschreibung und Parameterschema — werden bei jedem Aufruf gesendet, ob ein Werkzeug genutzt wird oder nicht.
Eingaben
Werkzeuge
Volumen und Preise
Rahmen-Token
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Token-Mehraufwand beim Function Calling
Der Token-Mehraufwand beim Function Calling ist die eingabeseitige Kostenposition dafür, einem großen Sprachmodell Werkzeuge verfügbar zu machen. Damit ein Modell entscheiden kann, ob und wie es ein Werkzeug aufruft, serialisiert der Anbieter die Definition jedes Werkzeugs — ihren Namen, eine natürlichsprachliche Beschreibung und ein JSON-Schema für ihre Parameter — in den Prompt, den das Modell liest. Diese Definitionen bestehen aus Token und werden bei jeder Anfrage gesendet, ob am Ende ein Werkzeug genutzt wird oder nicht. Dieser Rechner isoliert diesen festen Mehraufwand je Aufruf und die wiederkehrenden Kosten, die er über ein Aufrufvolumen erzeugt.
Warum Werkzeuge bei jedem Aufruf berechnet werden
Ein Modell ist zwischen Anfragen zustandslos: Es erinnert sich von einem Aufruf zum nächsten an nichts, sodass die Werkzeuge, die es nutzen darf, jedes Mal aufs Neue beschrieben werden müssen. Es gibt keine Möglichkeit, ein Werkzeug einmal zu registrieren und später günstig darauf zu verweisen — die vollständige Definition reist in der Eingabe jedes Aufrufs mit. Eine Anfrage, bei der das Modell direkt antwortet und nichts aufruft, bezahlt dennoch für die Definitionen, weil sie bereitgestellt wurden, damit die Option bestand. Die Kosten skalieren daher mit der Anzahl der bereitgestellten Werkzeuge und der Ausführlichkeit ihrer Schemata, multipliziert damit, wie oft Sie das Modell aufrufen.
Die Formel
Bei Werkzeugen zu je Token und Rahmen-Token, die den Werkzeugblock einfassen, beträgt der Mehraufwand pro Aufruf
tcall=m⋅ttool+twÜber Aufrufe sind der gesamte Mehraufwand und seine Kosten zu einem Eingabepreis pro Million Token
TC=tcall⋅n=106TpDie Division durch rechnet den Satz pro Million in einen Satz pro Token um. Werkzeugdefinitionen werden vom Modell gelesen und daher zum Eingabesatz abgerechnet, in der Regel dem niedrigeren der beiden veröffentlichten Preise.
Rechenbeispiel
Betrachten Sie einen Agenten, der 14 Werkzeuge bereitstellt, deren Definitionen durchschnittlich 120 Token umfassen, mit 18 Rahmen-Token, die den Block einfassen. Der Mehraufwand pro Aufruf ist
tcall=14×120+18=1698 TokenÜber 25.000 Aufrufe zu einem Eingabepreis von $3 pro Million Token betragen die Kosten des Mehraufwands
TC=1698×25000=42450000 Token=10642450000×3=$127,35Diese $127,35 fallen an, bevor eine einzige Nutzernachricht oder Modellantwort gezählt wird — sie bezahlen allein dafür, die Werkzeuge bei jeder Anfrage zu beschreiben. Den Agenten so zu routen, dass er nur die wenigen für jede Aufgabe relevanten Werkzeuge bereitstellt, statt aller 14, würde diese Zahl um ein Mehrfaches senken.
Hinweise und Varianten
Die Zahl pro Werkzeug hängt stark davon ab, wie reichhaltig jedes Werkzeug beschrieben ist: Ausführliche Parameterbeschreibungen und viele optionale Felder blähen das Schema auf, während eine knappe Definition kompakt bleibt. Der hier gemessene Mehraufwand ist ausschließlich der Werkzeugblock; die Gesprächs-Token und etwaige Werkzeugaufruf- Argumente, die das Modell ausgibt, sind getrennt. Prompt-Caching kann die wiederkehrenden Kosten senken, wenn der Werkzeugblock über Aufrufe hinweg stabil ist, da ein gecachter Lesevorgang zu einem reduzierten Satz abgerechnet wird.
Anwendung
Der Function-Calling-Mehraufwand landet auf der Eingabeseite der Rechnung. Sein ausgabeseitiges Gegenstück — das JSON-Gerüst, das das Modell zurückschreibt, wenn es auf ein Schema festgelegt ist — behandelt Rechner für den Mehraufwand strukturierter Ausgaben. Um die zugrunde liegende Token-Nutzung pro Aufruf zu bepreisen, aus der dieser Mehraufwand stammt, siehe Token-Kosten-Rechner.
Häufig gestellte Fragen (FAQ)
Warum kosten Werkzeuge Token?
Damit das Modell ein Werkzeug aufrufen kann, muss es wissen, dass das Werkzeug existiert und wie es zu verwenden ist. Der Anbieter serialisiert den Namen, die natürlichsprachliche Beschreibung und das JSON-Parameterschema jedes Werkzeugs in den Prompt, den das Modell liest.
Dieser serialisierte Block besteht aus Token und wird auf der Eingabeseite jeder Anfrage verarbeitet, sodass die bereitgestellten Werkzeuge die Eingabe-Token-Anzahl erhöhen, bevor das Modell ein einziges Wort der Antwort schreibt.
Wie lässt sich der Werkzeug-Mehraufwand reduzieren?
Stellen Sie nur die für die aktuelle Aufgabe relevanten Werkzeuge bereit, statt bei jedem Aufruf den gesamten Katalog — das Routen oder Filtern des Werkzeugsatzes ist der größte Stellhebel. Das Kürzen ausführlicher Parameterbeschreibungen und das Entfernen optionaler, selten genutzter Parameter verkleinert jede Definition.
Da der Mehraufwand je Aufruf anfällt, summieren sich die Einsparungen über aufrufstarke Arbeitslasten, und ein schlankerer Werkzeugsatz verbessert tendenziell auch die Genauigkeit der Werkzeugauswahl des Modells.
Werden Werkzeugdefinitionen bei jedem Aufruf gesendet?
Ja. Das Modell ist zwischen Anfragen zustandslos, sodass die Werkzeugdefinitionen in der Eingabe jedes Aufrufs enthalten sind und nicht einmalig registriert werden. Selbst eine Anfrage, bei der das Modell direkt antwortet, ohne ein Werkzeug aufzurufen, bezahlt dennoch für die Definitionen, weil sie gesendet wurden, damit die Option verfügbar war.
Prompt-Caching kann die wiederkehrenden Kosten senken, wenn der Werkzeugblock über Aufrufe hinweg stabil ist, da ein gecachter Lesevorgang zu einem reduzierten Satz abgerechnet wird.
Haftungsausschluss
Die Token-Zahlen sind Schätzungen, die vom Tokenizer des Modells und davon abhängen, wie der Anbieter Werkzeugdefinitionen serialisiert. Veröffentlichte Preise ändern sich im Laufe der Zeit und können Caching- oder Stapelrabatte ausschließen. Überprüfen Sie die aktuellen Sätze und exakten Token-Anzahlen bei Ihrem Anbieter, bevor Sie sich für die Abrechnung auf eine Zahl verlassen.