Calcolatore del costo delle GPU cloud
Dati di input
| Prezzo orario per GPU | 2,5 $ |
|---|---|
| Numero di GPU | 8 |
| Durata | 24 |
Calcolatore del costo delle GPU cloud
Stima il conto totale per noleggiare GPU cloud per una sessione di durata fissa a partire dal prezzo orario, dal numero di GPU e dalla durata, più il costo che ciascuna GPU contribuisce.
Dati di input
Sessione
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
Il costo delle GPU cloud
Noleggiare GPU nel cloud ha reso possibile avviare una grande sessione di addestramento o un lavoro batch senza possedere alcun hardware, ma il conto può salire rapidamente quando decine di acceleratori vengono eseguiti per giorni. L'aritmetica in sé è semplice: il costo di una sessione di durata fissa è il prezzo orario di una GPU, moltiplicato per quante GPU vengono usate, moltiplicato per quante ore vengono eseguite. Questo calcolatore lo determina e scompone anche il conto nel costo che ciascuna GPU contribuisce.
La fatturazione è lineare in prezzo, numero e tempo
La fatturazione delle GPU cloud non ha economie di scala all'interno di una singola sessione — ogni GPU è addebitata alla stessa tariffa oraria per l'intera durata, che ne sia in esecuzione una o cento. Questo rende il costo totale un prodotto pulito di tre numeri:
C=c⋅n⋅hdove è il prezzo orario per GPU, è il numero di GPU e è la durata della sessione in ore. Il costo attribuibile a una singola GPU è semplicemente
g=c⋅hquindi il totale è anche . Poiché la relazione è lineare, raddoppiare il numero di GPU o la durata raddoppia il conto, e le due sono intercambiabili per una quantità fissa di lavoro misurata in GPU-ora.
Esempio svolto
Supponiamo che una sessione di addestramento usi 8 GPU al prezzo di $2,50 per GPU-ora e impieghi 24 ore per terminare:
gC=2,50×24=$60=2,50×8×24=$480Ogni GPU costa $60 per la giornata e le otto insieme costano $480. Se lo stesso lavoro potesse essere terminato in 12 ore su 16 GPU, le GPU-ora — e quindi il costo — resterebbero invariate a $480, poiché anche fa $480. Ciò che cambia il conto sono le GPU-ora consumate, non come vengono ripartite tra numero e tempo.
On-demand contro prezzo spot
Il prezzo orario inserito qui può provenire da due mercati molto diversi. Le istanze on-demand sono riservate per tutto il tempo necessario a una tariffa fissa e non vengono mai interrotte, il che è adatto a sessioni che devono completarsi in un'unica passata. Le istanze spot o preemptible offrono lo stesso hardware con un grande sconto — spesso da metà a un terzo del prezzo on-demand — ma il fornitore può riappropriarsene con breve preavviso. Un lavoro con checkpoint che può riprendere dopo lo sfratto spesso costa molto meno sulla capacità spot, mentre un lavoro che dovrebbe ripartire da zero è di solito più sicuro on-demand. Inserisci la tariffa che corrisponde alle istanze che la sessione userà effettivamente.
Usare la stima
Questo valore copre solo l'addebito per il calcolo GPU. Una fattura reale include anche archiviazione, trasferimento dati e rete, e continua ad addebitare ogni periodo in cui le istanze restano allocate ma inattive prima o dopo la sessione. Per valutare quello spreco di tempo inattivo su un acceleratore riservato, vedi il Calcolatore del costo di utilizzo della GPU. Per decidere se noleggiare convenga rispetto all'acquisto di hardware o alla chiamata di un'API ospitata, vedi il Calcolatore del punto di pareggio tra self-hosting e API.
Domande frequenti (FAQ)
Qual è la differenza tra prezzo spot e on-demand?
Il prezzo on-demand riserva una GPU per tutto il tempo necessario a una tariffa oraria fissa, senza rischio di interruzione. Il prezzo spot o preemptible offre lo stesso hardware con uno sconto consistente — spesso da metà a un terzo della tariffa on-demand — ma il fornitore può riappropriarsi dell'istanza con poco preavviso quando serve capacità altrove.
Lo spot è ben adatto a lavori tolleranti ai guasti o con checkpoint che possono riprendere dopo un'interruzione, mentre l'on-demand è adatto a sessioni che devono completarsi senza riavvii. Inserisci la tariffa che si applica all'istanza usata.
Come si dovrebbe scegliere un tipo di GPU?
La GPU giusta dipende dalla memoria di cui il lavoro ha bisogno e dal throughput che può sfruttare. Un modello che entra in un acceleratore più piccolo è più economico da eseguire lì che su una scheda di fascia alta che non riesce a tenere occupata.
Per le grandi sessioni di addestramento, le GPU da data center con molta memoria e interconnessione veloce riducono le ore necessarie e spesso abbassano il conto totale nonostante una tariffa oraria più alta. Il confronto utile è il costo totale della sessione, non il prezzo orario di facciata, poiché una GPU più veloce può terminare in meno ore.
Come si rapportano le GPU-ora al costo totale?
Le GPU-ora sono il numero di GPU moltiplicato per le ore in cui vengono eseguite — l'unità di consumo che la maggior parte dei report di addestramento cita. Il costo totale è semplicemente le GPU-ora moltiplicate per il prezzo orario per GPU.
Se ci si aspetta che una sessione richieda un numero noto di GPU-ora, dividere per il numero di GPU dà la durata effettiva e moltiplicare per la tariffa oraria dà il conto. Questo calcolatore svolge la stessa aritmetica a partire da prezzo, numero e durata.
Avvertenze legali
Questa stima considera solo l'addebito per il calcolo GPU di una sessione della durata inserita. Esclude archiviazione, trasferimento dati, rete, tempo inattivo prima e dopo la sessione e qualsiasi interruzione sulla capacità spot. Confronta il risultato con i prezzi riservati o serverless prima di impegnarti in una sessione lunga.
Da provare dopo
Calcolatore del costo di utilizzo della GPU
Mostra il costo reale di un acceleratore riservato una volta contato il tempo di inattività. Inserisci il prezzo orario e l'utilizzo per ottenere il costo effettivo per ora utile e il denaro speso per la capacità inattiva.
Calcolatore del punto di pareggio tra self-hosting e API
Determina il volume mensile di token a partire dal quale un costo fisso di self-hosting (capacità GPU noleggiata o di proprietà più i costi variabili) risulta più conveniente del prezzo per token di un'API, e mostra il costo mensile e il risparmio al volume effettivo.