Embedding-Kosten-Rechner
Eingaben
| Anzahl der Dokumente | 500 |
|---|---|
| Token pro Dokument | 1.000 |
| Preis (pro 1 Mio. Token) | 0,13 $ |
Embedding-Kosten-Rechner
Schätzt die einmaligen Kosten für das Einbetten eines Dokumentenkorpus für das Retrieval aus der Anzahl der Dokumente, den Token pro Dokument und dem Preis des Embedding-Modells je eine Million Token.
Eingaben
Korpus
Preis
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Embedding-Kosten erklärt
Embedding-Kosten sind der Preis dafür, einen Textbestand mit einem Embedding-Modell in Vektoren zu überführen. Bevor ein Retrieval-System Fragen über eine Sammlung von Dokumenten beantworten kann, muss es jedes Dokument zunächst in ein Embedding verwandeln — eine Zahlenliste fester Länge, die seine Bedeutung erfasst. Embedding-APIs rechnen diese Arbeit in Token ab und stellen einen veröffentlichten Tarif je eine Million Token in Rechnung, sodass die Kosten für die Aufbereitung eines Korpus davon abhängen, wie viele Dokumente es gibt und wie lang jedes einzelne ist.
Wie die Abrechnung funktioniert
Ein Embedding-Modell liest Text und gibt einen Vektor je Eingabe zurück. Der Anbieter zählt die Eingabe-Token — dieselbe Art von Token wie bei der Textgenerierung, jeweils etwa vier Zeichen englischen Texts — und berechnet den Tarif pro Token. Da ein einzelnes Token nur einen winzigen Bruchteil einer Währungseinheit kostet, werden Tarife je eine Million Token angegeben. Embedding-Modelle sind pro Token in der Regel deutlich günstiger als Generierungsmodelle, da sie einen einzigen Vorwärtsdurchlauf ausführen und keine generierte Ausgabe erzeugen.
Die Kosten fallen einmalig pro Dokument an. Sobald der Vektor eines Dokuments in einer Vektordatenbank gespeichert ist, muss es nicht erneut eingebettet werden, es sei denn, der Inhalt ändert sich oder das Embedding-Modell wird ausgetauscht — Vektoren verschiedener Modelle sind nicht vergleichbar, sodass ein Modellwechsel ein erneutes Einbetten des gesamten Korpus bedeutet.
Die Formel
Bei einem Korpus aus Dokumenten mit durchschnittlich Token je Dokument beträgt die Gesamtzahl der Token
T=ndoc⋅tdocund das Einbetten des Korpus zu einem Tarif von je eine Million Token kostet
C=106T⋅pDie Division durch rechnet den Tarif je Million in einen Tarif pro Token um, bevor mit der Token-Anzahl multipliziert wird.
Rechenbeispiel
Angenommen, eine Wissensdatenbank enthält Passagen mit durchschnittlich Token je Passage, eingebettet mit einem Modell zum Preis von 0,13 $ je eine Million Token. Die Gesamtzahl der Token beträgt
T=1800×740=1332000 Tokenund die Embedding-Kosten betragen
C=1061332000×0,13=1332×0,13≈0,17Das Einbetten des gesamten Korpus kostet also etwa siebzehn Cent — eine einmalige Ausgabe, die beim Aufbau des Index anfällt. Selbst ein um eine Größenordnung größerer Korpus bleibt im niedrigen einstelligen Bereich der Währung, weshalb das Embedding selten der dominierende Posten im Budget eines Retrieval-Systems ist.
Hinweise und Varianten
Die obige Zahl deckt nur das anfängliche Einbetten der Dokumente ab. Drei verwandte Kostenarten werden separat abgerechnet: das Einbetten jeder Nutzeranfrage zur Laufzeit (gering, da Anfragen kurz sind), die Speicherung der Vektoren in einer Vektordatenbank und das erneute Einbetten bei Änderungen der Dokumente. Das Aufteilen von Dokumenten in kleinere Chunks erhöht die Anzahl der Dokumente, senkt aber die Token pro Dokument, sodass das Produkt — und damit die Kosten — nahe an der reinen Token-Gesamtzahl bleibt, zuzüglich einer geringen Überlappung.
Anwendung
Die Embedding-Kosten sind der erste Schritt bei der Budgetierung einer Retrieval-Pipeline. Die dabei erzeugten Vektoren müssen gespeichert und abgefragt werden, was Gegenstand des Vektordatenbank-Kosten-Rechner ist, und der Speicherbedarf selbst hängt von Vektordimension und -anzahl ab, die der Vektordatenbank-Größe-Rechner behandelt. Die Generierungsaufrufe, die den abgerufenen Kontext verarbeiten, werden vom Token-Kosten-Rechner bepreist.
Häufig gestellte Fragen (FAQ)
Was ist ein Embedding?
Ein Embedding ist eine Zahlenliste — ein Vektor —, die die Bedeutung eines Textstücks darstellt. Ein Embedding-Modell liest ein Dokument und gibt einen Vektor fester Länge aus, wobei Texte mit ähnlicher Bedeutung in diesem Vektorraum nahe beieinanderliegen. Retrieval-Systeme betten jedes Dokument einmal ein, speichern die Vektoren und betten zur Abfragezeit die Frage ein, um die nächstgelegenen Dokumente zurückzugeben.
Wie schätze ich die Token pro Dokument?
Als Faustregel entspricht ein Token etwa vier Zeichen englischen Texts oder rund 0,75 Wörtern, sodass ein Artikel von 1.000 Wörtern bei etwa 1.300 Token liegt. Code, Tabellen und nicht lateinische Schriften werden weniger effizient tokenisiert und ergeben mehr Token pro Zeichen. Für einen genauen Wert lässt man eine Stichprobe der Dokumente durch den Tokenizer des Anbieters laufen und bildet den Durchschnitt.
Müssen diese Kosten erneut bezahlt werden?
Das Embedding ist eine einmalige Gebühr pro Dokument, solange die Vektoren gespeichert bleiben. Erneut zahlt man nur, wenn neue Dokumente hinzukommen, wenn sich Inhalte ändern und neu eingebettet werden müssen oder wenn ein anderes Embedding-Modell eingesetzt wird, da Vektoren eines Modells nicht mit denen eines anderen vergleichbar sind. Embeddings der Abfragen selbst zur Abfragezeit werden separat abgerechnet und sind in der Regel gering.
Haftungsausschluss
Dies ist eine einmalige Schätzung für das Einbetten des Korpus und schließt das Embedding zur Abfragezeit, die Vektorspeicherung und das erneute Einbetten bei Inhaltsänderungen aus. Die Token-Anzahl hängt vom Tokenizer des Modells und vom Inhalt ab, und veröffentlichte Preise ändern sich im Laufe der Zeit. Prüfen Sie aktuelle Tarife und Token-Anzahlen bei Ihrem Anbieter.