Calcolatore del punto di pareggio tra self-hosting e API
Dati di input
| Costo mensile GPU (fisso) | 1.500 $ |
|---|---|
| Costo variabile self-hosting (per 1M di token) | 0 $ |
| Prezzo API (per 1M di token) | 10 $ |
| Volume mensile di token | 500.000.000 |
Calcolatore del punto di pareggio tra self-hosting e API
Dati di input
Self-hosting
API e volume
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
Al proprio volume, l'API ospitata è più conveniente: ci si trova al di sotto del punto di pareggio, per cui il costo fisso della GPU supera il risparmio per token. Il self-hosting conviene solo quando il volume mensile supera la cifra di pareggio indicata sopra.
Da provare dopo
Calcolatore del costo mensile di un LLM
Proietta il costo ricorrente di un carico di lavoro API su un modello linguistico di grandi dimensioni (LLM) a partire dall'uso di token per chiamata, dal volume giornaliero di richieste e dai prezzi per milione di token del modello, con input e output fatturati separatamente.
Calcolatore del costo energetico dell'inferenza
Stima il costo dell'elettricità e le emissioni di anidride carbonica per l'esecuzione su larga scala dell'inferenza di un modello linguistico di grandi dimensioni (LLM), a partire da un valore di energia per richiesta, dal prezzo dell'elettricità e dall'intensità di carbonio della rete.