Calculadora de Custo de Embedding
Entradas
| Quantidade de Documentos | 500 |
|---|---|
| Tokens por Documento | 1.000 |
| Preço (por 1M de tokens) | 0,13 $ |
Calculadora de Custo de Embedding
Estime o custo único de vetorizar um corpus de documentos para recuperação, a partir da quantidade de documentos, dos tokens por documento e do preço por milhão de tokens do modelo de embedding.
Entradas
Corpus
Preço
Resultados
Insira um valor para ver os resultados.
Detalhes
O custo de embedding explicado
O custo de embedding é o preço de converter um conjunto de textos em vetores com um modelo de embedding. Antes que um sistema de recuperação possa responder a perguntas sobre uma coleção de documentos, ele precisa primeiro transformar cada documento em um embedding — uma lista de números de comprimento fixo que captura seu significado. As APIs de embedding medem esse trabalho em tokens e cobram a uma tarifa publicada por milhão de tokens, de modo que o custo de preparar um corpus é definido por quantos documentos existem e pelo comprimento de cada um.
Como funciona a cobrança de embedding
Um modelo de embedding lê o texto e retorna um vetor por entrada. O provedor conta os tokens de entrada — o mesmo tipo de token usado na geração de texto, cerca de quatro caracteres de inglês cada — e aplica a tarifa por token. Como um único token custa uma fração mínima de uma unidade monetária, as tarifas são cotadas por um milhão de tokens. Modelos de embedding costumam ser muito mais baratos por token do que modelos de geração, pois realizam uma única passagem direta e não produzem saída gerada.
O custo é uma cobrança única por documento. Uma vez que o vetor de um documento está armazenado em um banco de dados vetorial, ele não precisa ser vetorizado de novo, a menos que o conteúdo mude ou que o modelo de embedding seja trocado — vetores de modelos diferentes não são comparáveis, então mudar de modelo significa revetorizar todo o corpus.
A fórmula
Com um corpus de documentos com média de tokens cada, a contagem total de tokens é
T=ndoc⋅tdoce vetorizar o corpus a uma tarifa de por milhão de tokens custa
C=106T⋅pA divisão por converte a cotação por milhão em uma tarifa por token antes da multiplicação pela contagem de tokens.
Exemplo resolvido
Suponha que uma base de conhecimento contenha trechos com média de tokens cada, vetorizados com um modelo cotado a $0,13 por milhão de tokens. A contagem total de tokens é
T=1800×740=1332000 tokense o custo de embedding é
C=1061332000×0.13=1.332×0.13≈0.17Portanto, vetorizar todo o corpus custa cerca de dezessete centavos — uma despesa única paga quando o índice é construído. Mesmo um corpus uma ordem de grandeza maior permanece na casa das unidades de moeda, razão pela qual a vetorização raramente é o item dominante no orçamento de um sistema de recuperação.
Observações e variações
O valor acima cobre apenas a vetorização inicial dos documentos. Três custos relacionados são cobrados à parte: vetorizar cada consulta do usuário em tempo de execução (pequeno, já que as consultas são curtas), armazenar os vetores em um banco de dados vetorial e revetorizar quando os documentos mudam. Dividir os documentos em fragmentos menores aumenta a quantidade de documentos, mas reduz os tokens por documento, de modo que o produto — e, portanto, o custo — permanece próximo do total bruto de tokens, mais uma pequena sobreposição.
Aplicação
O custo de embedding é o primeiro passo no orçamento de um pipeline de recuperação. Os vetores que ele produz precisam ser armazenados e consultados, o que é o tema da Calculadora de Custo de Banco de Dados Vetorial, e o próprio espaço de armazenamento depende da dimensão e da quantidade de vetores tratadas pela Calculadora de Tamanho de Banco de Dados Vetorial. As chamadas de geração que consomem o contexto recuperado têm seu preço calculado pela Calculadora de Custo por Token.
Perguntas frequentes (FAQ)
O que é um embedding?
Um embedding é uma lista de números — um vetor — que representa o significado de um trecho de texto. Um modelo de embedding lê um documento e produz um vetor de comprimento fixo, e textos com significado semelhante ficam próximos nesse espaço vetorial. Sistemas de recuperação vetorizam cada documento uma vez, armazenam os vetores e, no momento da consulta, vetorizam a pergunta e retornam os documentos mais próximos.
Como estimar os tokens por documento?
Como regra de bolso, um token equivale a cerca de quatro caracteres de inglês, ou aproximadamente 0,75 palavra, então um artigo de 1.000 palavras tem perto de 1.300 tokens. Código, tabelas e idiomas não latinos são tokenizados de forma menos eficiente e geram mais tokens por caractere. Para um valor preciso, passe uma amostra dos documentos pelo tokenizador do provedor e calcule a média.
É preciso pagar esse custo novamente?
A vetorização é uma cobrança única por documento enquanto os vetores estiverem armazenados. O custo se repete apenas quando novos documentos são adicionados, quando o conteúdo muda e precisa ser revetorizado, ou quando se troca de modelo de embedding, já que vetores de um modelo não são comparáveis aos de outro. A vetorização das próprias perguntas no momento da consulta é cobrada à parte e costuma ser pequena.
Aviso legal
Esta é uma estimativa única para vetorizar o corpus e não inclui a vetorização no momento da consulta, o armazenamento dos vetores nem a revetorização quando o conteúdo muda. A contagem de tokens depende do tokenizador do modelo e do conteúdo, e os preços publicados mudam ao longo do tempo. Confirme as tarifas e a contagem de tokens atuais com o seu provedor.