Calcolatore dei token ottimali secondo Chinchilla
Dati di input
| Parametri | 70 |
|---|---|
| Token per parametro | 20 |
Calcolatore dei token ottimali secondo Chinchilla
Calcola il numero di token di addestramento ottimale dal punto di vista computazionale per un modello usando la regola di Chinchilla di circa venti token per parametro, con il relativo costo di addestramento espresso in FLOP.
Dati di input
Modello
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
Token ottimali secondo Chinchilla
Il risultato di scaling di Chinchilla ha cambiato il modo in cui si dimensionano i modelli linguistici. Ha mostrato che, a parità di budget computazionale, l'accuratezza migliore non si ottiene rendendo il modello il più grande possibile, ma facendo crescere insieme parametri e token di addestramento, associando a ogni parametro circa venti token di dati. Questo calcolatore applica tale rapporto: a partire da un numero di parametri restituisce il numero di token ottimale dal punto di vista computazionale e il costo di addestramento che ne consegue.
Il rapporto ottimale dal punto di vista computazionale
Prima di Chinchilla, la pratica prevalente destinava la maggior parte del budget computazionale ai parametri e relativamente poco ai dati, producendo modelli sottoaddestrati rispetto alla loro dimensione. Lo studio di DeepMind del 2022 ha stimato le leggi di scaling su centinaia di addestramenti e ha rilevato che, per un dato budget, la perdita è minima quando la dimensione del modello e quella del dataset crescono di pari passo. Il punto di equilibrio empirico colloca il dataset ottimale intorno a venti token di addestramento per parametro. Un modello con parametri dovrebbe quindi essere addestrato su circa token.
La formula
Con un numero di parametri in miliardi e un rapporto di token per parametro, il numero di token ottimale e il relativo costo di addestramento sono
DC=N⋅r=6⋅N⋅D⋅1018dove è il numero ottimale di token di addestramento in miliardi e è il costo di addestramento espresso in operazioni in virgola mobile. Il costo segue la regola , che imputa circa sei operazioni per parametro per token, mentre il fattore riporta i miliardi di e ai conteggi assoluti.
Esempio
Si consideri un modello da 70 miliardi di parametri e il rapporto centrale di venti token per parametro:
DC=70×20=1400 miliardi di token=1,4 bilioni=6×70×1400×1018=5,88×1023 FLOPIl dataset ottimale dal punto di vista computazionale è di circa 1,4 bilioni di token, e l'addestramento su tale insieme costa all'incirca operazioni. Aumentando il rapporto — per esempio a cento token per parametro — crescono in proporzione diretta sia il numero di token sia il costo.
Limiti
Il rapporto di venti a uno minimizza la perdita di addestramento per un dato budget di addestramento, ma ignora deliberatamente il costo di esercizio del modello finito. Un modello destinato a rispondere a molte richieste viene spesso addestrato su un numero di token ben superiore a quello ottimale secondo Chinchilla, perché un modello più piccolo addestrato più a lungo è più economico da eseguire a parità di qualità. Il rapporto ottimale esatto cambia inoltre con il dataset, il tokenizer e l'architettura, perciò venti è una stima centrale e non una costante. Il problema complementare del dimensionamento di un modello rispetto a un budget computazionale fisso è trattato dal Calcolatore della dimensione ottimale del modello rispetto al calcolo, mentre il costo computazionale grezzo di una configurazione scelta dal Calcolatore dei FLOP di addestramento.
Domande frequenti (FAQ)
Che cos'è il risultato di scaling di Chinchilla?
Il risultato di Chinchilla, pubblicato da DeepMind nel 2022, ha mostrato che i grandi modelli precedenti erano sottoaddestrati: a parità di budget computazionale, l'accuratezza migliora di più quando la dimensione del modello e il numero di token di addestramento crescono insieme, anziché destinare il budget soprattutto ai parametri.
Lo studio ha stimato le leggi di scaling su centinaia di addestramenti ed è giunto alla conclusione che l'allocazione ottimale dal punto di vista computazionale associa a ogni parametro circa venti token di addestramento, in netta discontinuità con i modelli precedenti, addestrati con rapporti molto più bassi.
Perché circa venti token per parametro?
Il rapporto deriva dalle leggi di scala stimate sui dati di addestramento. A parità di budget computazionale, la perdita è minima quando il beneficio marginale dell'aggiunta di parametri eguaglia quello dell'aggiunta di token, e gli esponenti empirici dello studio di Chinchilla collocano tale equilibrio intorno a venti token per parametro.
Il valore esatto dipende dal dataset e dall'architettura, perciò venti è una stima centrale arrotondata, non una costante precisa.
Venti token per parametro è ancora il valore di riferimento?
Venti è il rapporto ottimale dal punto di vista computazionale per minimizzare la perdita di addestramento a parità di budget, ma ignora il costo di inferenza. Un modello destinato a servire molte richieste viene spesso addestrato su un numero di token molto superiore a quello ottimale secondo Chinchilla, perché un modello più piccolo addestrato più a lungo è più economico da eseguire, anche se il suo addestramento non era ottimale dal punto di vista computazionale.
Per questa ragione diversi modelli molto diffusi vengono addestrati con rapporti pari a cento o più, quindi venti è un riferimento di base e non un limite superiore.
Avvertenze legali
Il rapporto di venti token per parametro è una stima centrale derivante dalle leggi di scaling di Chinchilla e varia in base al dataset e all'architettura. Ottimizza il solo costo di addestramento e non tiene conto del costo di inferenza, che spesso giustifica l'addestramento di modelli più piccoli su un numero molto maggiore di token. Il risultato va inteso come punto di partenza, non come regola fissa.