Calculateur de coût d'embeddings
Données
| Nombre de documents | 500 |
|---|---|
| Jetons par document | 1 000 |
| Prix (par million de jetons) | 0,13 $ |
Calculateur de coût d'embeddings
Estimez le coût ponctuel de la vectorisation d'un corpus de documents pour la recherche, à partir du nombre de documents, du nombre de jetons par document et du prix par million de jetons du modèle d'embeddings.
Données
Corpus
Tarification
Résultats
Saisissez une valeur pour afficher les résultats.
Détails
Le coût d'embeddings expliqué
Le coût d'embeddings est le prix de la conversion d'un ensemble de textes en vecteurs au moyen d'un modèle d'embeddings. Avant qu'un système de recherche ne puisse répondre à des questions portant sur une collection de documents, il doit d'abord transformer chaque document en un embedding — une liste de nombres de longueur fixe qui en capture le sens. Les API d'embeddings mesurent ce travail en jetons et le facturent à un tarif publié par million de jetons : le coût de préparation d'un corpus dépend donc du nombre de documents et de la longueur de chacun.
Comment fonctionne la facturation des embeddings
Un modèle d'embeddings lit un texte et renvoie un vecteur par entrée. Le fournisseur compte les jetons en entrée — le même type de jeton qu'en génération de texte, soit environ quatre caractères d'anglais chacun — et applique le tarif par jeton. Comme un seul jeton coûte une fraction infime d'une unité monétaire, les tarifs sont annoncés par million de jetons. Les modèles d'embeddings sont en général bien moins chers par jeton que les modèles de génération, car ils effectuent une seule passe et ne produisent aucun texte généré.
Le coût est ponctuel, par document. Une fois le vecteur d'un document stocké dans une base de données vectorielle, il n'a pas besoin d'être recalculé tant que le contenu ne change pas et que le modèle d'embeddings n'est pas remplacé — les vecteurs issus de modèles différents ne sont pas comparables, si bien que changer de modèle impose de revectoriser tout le corpus.
La formule
Pour un corpus de documents comptant en moyenne jetons chacun, le nombre total de jetons vaut
T=ndoc⋅tdocet la vectorisation du corpus à un tarif de par million de jetons coûte
C=106T⋅pLa division par convertit le tarif par million en tarif par jeton avant la multiplication par le nombre de jetons.
Exemple chiffré
Supposons une base de connaissances de passages comptant en moyenne jetons chacun, vectorisés avec un modèle facturé à $0.13 par million de jetons. Le nombre total de jetons est
T=1800×740=1332000 jetonset le coût de vectorisation est
C=1061332000×0.13=1.332×0.13≈0.17La vectorisation de l'ensemble du corpus coûte donc environ dix-sept centimes — une dépense ponctuelle réglée une seule fois lors de la construction de l'index. Même un corpus dix fois plus grand reste dans les unités monétaires à un seul chiffre, raison pour laquelle la vectorisation est rarement le poste dominant du budget d'un système de recherche.
Remarques et variantes
Le chiffre ci-dessus ne couvre que la vectorisation initiale des documents. Trois coûts connexes sont facturés séparément : la vectorisation de chaque requête utilisateur au moment de l'exécution (faible, car les requêtes sont courtes), le stockage des vecteurs dans une base de données vectorielle, et la revectorisation lorsque les documents changent. Découper les documents en fragments plus petits augmente le nombre de documents mais réduit le nombre de jetons par document, de sorte que le produit — et donc le coût — reste proche du total brut de jetons, à un léger recouvrement près.
Application
Le coût d'embeddings est la première étape du budget d'une chaîne de recherche. Les vecteurs qu'il produit doivent ensuite être stockés et interrogés, ce qui fait l'objet du Calculateur de coût d'une base de données vectorielle, tandis que l'empreinte de stockage elle-même dépend de la dimension et du nombre de vecteurs, traités par le Calculateur de taille de base de données vectorielle. Les appels de génération qui consomment le contexte récupéré sont tarifés par le Calculateur de coût en jetons.
Questions fréquentes (FAQ)
Qu'est-ce qu'un embedding ?
Un embedding est une liste de nombres — un vecteur — qui représente le sens d'un fragment de texte. Un modèle d'embeddings lit un document et produit un vecteur de longueur fixe, et les textes de sens proche se retrouvent voisins dans cet espace vectoriel. Les systèmes de recherche vectorisent chaque document une fois, stockent les vecteurs, puis au moment de la requête vectorisent la question et renvoient les documents les plus proches.
Comment estimer le nombre de jetons par document ?
En règle générale, un jeton équivaut à environ quatre caractères d'anglais, soit à peu près 0,75 mot, de sorte qu'un article de 1 000 mots avoisine 1 300 jetons. Le code, les tableaux et les écritures non latines se découpent moins efficacement et produisent davantage de jetons par caractère. Pour un chiffre précis, passez un échantillon de vos documents dans le tokeniseur du fournisseur et prenez la moyenne.
Faut-il payer ce coût à nouveau ?
La vectorisation est un coût ponctuel par document tant que les vecteurs sont conservés. Vous payez de nouveau seulement lorsque vous ajoutez des documents, lorsque le contenu change et doit être revectorisé, ou lorsque vous changez de modèle d'embeddings, car les vecteurs d'un modèle ne sont pas comparables à ceux d'un autre. La vectorisation des requêtes elles-mêmes est facturée séparément et reste généralement faible.
Mentions légales
Il s'agit d'une estimation ponctuelle pour la vectorisation du corpus ; elle exclut la vectorisation des requêtes, le stockage des vecteurs et la revectorisation lorsque le contenu change. Le nombre de jetons dépend du tokeniseur du modèle et du contenu, et les prix publiés évoluent dans le temps. Vérifiez les tarifs et le nombre de jetons en vigueur auprès de votre fournisseur.