Calcolatore del costo di fine-tuning
Dati di input
| Dimensione del dataset | 10 |
|---|---|
| Epoche | 3 |
| Prezzo per milione di token | 8 $ |
Calcolatore del costo di fine-tuning
Stima il costo di un fine-tuning gestito di un modello linguistico a partire dalla dimensione del dataset in milioni di token, dal numero di epoche e dal prezzo del fornitore per milione di token di addestramento.
Dati di input
Lavoro di fine-tuning
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
Costo di fine-tuning
Le API di fine-tuning gestito addebitano il lavoro svolto, che è semplicemente il numero di token di addestramento letti dal modello. Poiché quel numero è la dimensione del dataset moltiplicata per i passaggi compiuti su di esso, il costo di un lavoro di fine-tuning può essere letto prima ancora che il lavoro inizi. Questo calcolatore lo stima a partire dalla dimensione del dataset in milioni di token, dal numero di epoche e dal prezzo del fornitore per milione di token di addestramento.
Come viene addebitato il fine-tuning
Invece di esporre l'hardware sottostante, un servizio di fine-tuning gestito addebita i token elaborati durante l'addestramento. Un'epoca legge ogni token del dataset una volta; eseguire più epoche legge l'intero dataset altrettante volte. I token totali addebitati sono quindi la dimensione del dataset per il numero di epoche, e la spesa è quel totale per la tariffa a token indicata dal fornitore. Questo rende il costo prevedibile dal solo dataset, senza conoscere il tipo di GPU, la dimensione del batch o la durata del lavoro.
La formula
Con un dataset di milioni di token, epoche e un prezzo per milione di token, i token totali elaborati e il costo totale sono
MC=D⋅e=M⋅pSia la dimensione del dataset sia il prezzo sono espressi per milione di token, perché è l'unità con cui la maggior parte dei fornitori indica le tariffe. Il costo è lineare in ogni ingresso: raddoppiare il dataset, raddoppiare le epoche o raddoppiare la tariffa raddoppia ciascuno la spesa.
Esempio
Si consideri un dataset di 10 milioni di token addestrato per 3 epoche a una tariffa di 8,00 per milione di token:
MC=10×3=30 milioni di token=30×8.00=240.00Il lavoro elabora 30 milioni di token e costa 240. Riducendo a due epoche si elaborerebbero 20 milioni di token con una spesa di 160, mentre mantenendo tre epoche ma usando un modello con tariffa 4,00 la spesa si dimezzerebbe a 120. Poiché il conteggio dei token è lo stesso tra le fasce di prezzo, la scelta del modello di base e del metodo di addestramento emerge interamente nella tariffa per milione.
Limiti
La stima conta solo i token di addestramento del dataset lungo le epoche scelte. Esclude i token di validazione se il fornitore li addebita a parte, il costo di preparazione e pulizia dei dati e qualsiasi spesa per ospitare il modello risultante. Il fine-tuning completo che aggiorna ogni peso è di solito prezzato più dei metodi ad adattatore come l'adattamento a basso rango, perciò la tariffa indicata deve corrispondere al metodo effettivamente scelto. Per i lavori eseguiti su hardware noleggiato anziché su un'API gestita, la spesa segue le ore-GPU invece dei token. L'economia per token dell'uso del modello risultante è trattata dal Calcolatore del costo dei token, mentre il lato del noleggio di un addestramento autogestito è coperto dal Calcolatore del costo delle GPU cloud.
Domande frequenti (FAQ)
Cosa determina il costo di un lavoro di fine-tuning?
La spesa è il numero di token elaborati per il prezzo per milione, e i token elaborati sono la dimensione del dataset moltiplicata per il numero di epoche. Dataset più ampi e più passaggi aumentano entrambi il conteggio in modo lineare.
La tariffa per token dipende dal modello di base — i modelli più grandi costano di più per token — e dal metodo di addestramento, poiché il fine-tuning completo che aggiorna ogni peso è di solito più caro dei metodi ad adattatore che addestrano una piccola frazione dei parametri. I token di validazione, se addebitati, si sommano al totale.
Perché il fine-tuning si paga a token anziché a ora?
Le API di fine-tuning gestito nascondono l'hardware e addebitano il lavoro svolto, proporzionale ai token che il modello legge durante l'addestramento. Il prezzo a token rende il costo prevedibile dal solo dataset, senza bisogno di conoscere il tipo di GPU, la dimensione del batch o il tempo effettivo.
Se invece il lavoro gira su hardware noleggiato, la spesa segue le ore-GPU anziché i token, e le grandezze rilevanti sono la dimensione del cluster e la durata dell'esecuzione.
Il fine-tuning completo è più caro dei metodi ad adattatore?
Di solito sì. Il fine-tuning completo aggiorna ogni parametro e richiede di memorizzare lo stato dell'ottimizzatore per tutti, quindi i fornitori lo prezzano più dei metodi a parametri efficienti come gli adattatori a basso rango, che addestrano un piccolo insieme aggiunto di pesi e congelano il resto. I metodi ad adattatore producono anche artefatti molto più piccoli da ospitare.
Il numero di token elaborati è lo stesso a parità di dataset e di epoche, perciò la differenza emerge interamente nella tariffa per milione di token indicata qui.
Avvertenze legali
Questa stima presuppone un addebito a token del dataset lungo il numero di epoche scelto ed esclude i token di validazione, la preparazione dei dati e l'hosting del modello risultante, a meno che non siano inclusi nella tariffa per milione. I prezzi dei fornitori e il conteggio dei token variano; conviene verificare le tariffe con il fornitore prima di stilare un budget.