Calcolatore del costo degli embedding
Dati di input
| Numero di documenti | 500 |
|---|---|
| Token per documento | 1.000 |
| Prezzo (per 1M di token) | 0,13 $ |
Calcolatore del costo degli embedding
Stima il costo una tantum per generare gli embedding di un corpus di documenti partendo dal numero di documenti, dai token per documento e dal prezzo per milione di token del modello di embedding.
Dati di input
Corpus
Prezzo
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
Che cos'è il costo degli embedding
Il costo degli embedding è il prezzo per convertire un insieme di testi in vettori tramite un modello di embedding. Prima che un sistema di recupero possa rispondere a domande su una raccolta di documenti, deve trasformare ogni documento in un embedding, ovvero un elenco di numeri di lunghezza fissa che ne cattura il significato. Le API di embedding misurano questo lavoro in token e lo fatturano a una tariffa pubblicata per milione di token, perciò il costo di preparazione di un corpus dipende da quanti documenti ci sono e da quanto è lungo ciascuno.
Come funziona la fatturazione degli embedding
Un modello di embedding legge il testo e restituisce un vettore per ogni input. Il fornitore conta i token in ingresso — lo stesso tipo di token usato nella generazione di testo, circa quattro caratteri in inglese ciascuno — e applica la tariffa per token. Poiché un singolo token costa una frazione minima di un'unità di valuta, le tariffe sono espresse per milione di token. I modelli di embedding costano di solito molto meno per token rispetto ai modelli di generazione, perché eseguono un singolo passaggio in avanti e non producono testo generato.
Il costo è un addebito una tantum per documento. Una volta che il vettore di un documento è archiviato in un database vettoriale, non occorre rigenerarlo a meno che il contenuto cambi o il modello di embedding venga sostituito: i vettori di modelli diversi non sono confrontabili, quindi cambiare modello significa rigenerare l'embedding dell'intero corpus.
Formula
Con un corpus di documenti che hanno in media token ciascuno, il numero totale di token è
T=ndoc⋅tdoce generare gli embedding del corpus a una tariffa di per milione di token costa
C=106T⋅pLa divisione per converte la quotazione per milione in una tariffa per token, prima della moltiplicazione per il numero di token.
Esempio
Si supponga che una base di conoscenza contenga passaggi che hanno in media token ciascuno, da elaborare con un modello al prezzo di $0,13 per milione di token. Il numero totale di token è
T=1800×740=1332000 tokene il costo degli embedding è
C=1061332000×0,13=1332×0,13≈0,17Quindi generare gli embedding dell'intero corpus costa circa diciassette centesimi: una spesa una tantum pagata una sola volta, quando l'indice viene costruito. Anche un corpus di un ordine di grandezza più grande resta su poche unità di valuta, ed è per questo che gli embedding sono raramente la voce dominante nel budget di un sistema di recupero.
Note e varianti
La cifra sopra riguarda solo l'embedding iniziale dei documenti. Tre costi correlati vengono fatturati a parte: l'embedding di ogni domanda dell'utente in fase di esecuzione (modesto, poiché le domande sono brevi), l'archiviazione dei vettori in un database vettoriale e la rigenerazione degli embedding quando i documenti cambiano. Suddividere i documenti in segmenti più piccoli aumenta il numero di documenti ma riduce i token per documento, perciò il prodotto — e quindi il costo — resta vicino al conteggio grezzo dei token, più una piccola sovrapposizione.
Applicazioni
Il costo degli embedding è il primo passo nel budget di una pipeline di recupero. I vettori che produce vanno archiviati e interrogati, argomento del Calcolatore del costo di un database vettoriale, e l'ingombro di archiviazione dipende a sua volta dalla dimensione e dal numero dei vettori, trattati dal Calcolatore della dimensione di un database vettoriale. Le chiamate di generazione che consumano il contesto recuperato hanno un prezzo calcolato dal Calcolatore del costo dei token.
Domande frequenti (FAQ)
Che cos'è un embedding?
Un embedding è un elenco di numeri — un vettore — che rappresenta il significato di un testo. Un modello di embedding legge un documento e produce un vettore di lunghezza fissa, e i testi con significato simile si collocano vicini in quello spazio vettoriale.
I sistemi di recupero generano una sola volta l'embedding di ogni documento, archiviano i vettori e, al momento della domanda, generano l'embedding della richiesta e restituiscono i documenti più vicini.
Come si stimano i token per documento?
Come indicazione di massima, un token corrisponde a circa quattro caratteri in inglese, ovvero a circa 0,75 parole, quindi un articolo di 1.000 parole si avvicina a 1.300 token. Codice, tabelle e alfabeti diversi dall'inglese vengono tokenizzati in modo meno efficiente e producono più token per carattere. Per un valore preciso, conviene far passare un campione dei propri documenti nel tokenizzatore del fornitore e calcolarne la media.
Questo costo va pagato di nuovo?
L'embedding è un addebito una tantum per documento, finché i vettori restano archiviati. Si paga di nuovo solo quando si aggiungono nuovi documenti, quando il contenuto cambia e va rigenerato, oppure quando si passa a un altro modello di embedding, poiché i vettori di un modello non sono confrontabili con quelli di un altro.
Gli embedding generati al momento della domanda per le richieste stesse vengono addebitati a parte e sono di solito modesti.
Avvertenze legali
Questa è una stima una tantum per generare gli embedding del corpus ed esclude gli embedding al momento della domanda, l'archiviazione dei vettori e la rigenerazione quando il contenuto cambia. Il conteggio dei token dipende dal tokenizzatore del modello e dal contenuto, e i prezzi pubblicati variano nel tempo. Conviene verificare le tariffe e i conteggi di token aggiornati presso il proprio fornitore.