Ultimo aggiornamento: 2026-06-22

Dimensione ottimale del modello rispetto al calcolo

Data una quantità fissa di calcolo per l'addestramento, le leggi di scala di Chinchilla indicano quanto grande debba essere il modello costruito con quel calcolo e su quanti token addestrarlo. L'allocazione compute-ottimale fa crescere parametri e dati di pari passo, anziché destinare l'intero budget alla sola dimensione. Questo calcolatore prende un budget di calcolo in petaFLOP/s-giorno, mantiene fisso il rapporto token-per-parametro e inverte la regola 6ND per restituire il numero di parametri e il numero di token ottimali.

Allocare un budget di calcolo

Il calcolo per l'addestramento è ben approssimato dalla regola 6ND: circa sei operazioni in virgola mobile per parametro e per token. Lo studio Chinchilla ha mostrato che, a budget fisso, la perdita è minima quando la dimensione del modello e quella del dataset crescono insieme, con circa venti token di addestramento per parametro. Fissare quel rapporto trasforma l'equazione del calcolo in una relazione nel solo numero di parametri, che può essere risolta per la dimensione del modello sostenibile da un dato budget.

La formula

Sia il budget $C$ in petaFLOP/s-giorno e $r$ il rapporto token-per-parametro. Convertendo il budget in FLOP e sostituendo $D = rN$ nella regola $6\,N\,D$ si ottiene $6 \cdot N \cdot rN = C_{\text{FLOPs}}$, da cui il numero di parametri e il numero di token sono

dove $N$ è il numero ottimale di parametri in miliardi e $D$ il numero ottimale di token in miliardi. Il fattore $8.64 \times 10^{19}$ converte i petaFLOP/s-giorno in FLOP, e la divisione per $10^{9}$ esprime $N$ in miliardi. La radice quadrata compare perché il calcolo cresce con il quadrato del numero di parametri una volta che i token vi sono legati.

Esempio svolto

Si consideri un budget di 6.000 petaFLOP/s-giorno al rapporto centrale di venti token per parametro:

Il budget conviene spenderlo in un modello di circa 65,7 miliardi di parametri addestrato su circa 1,31 bilioni di token. Raddoppiare il budget alzerebbe il numero ottimale di parametri di circa la radice quadrata di due, non di un fattore due, a causa della dipendenza dalla radice quadrata.

Limiti

Lo strumento riflette la perdita di addestramento compute-ottimale per un budget di addestramento fisso e nient'altro. Non considera il costo di servizio del modello, che spesso rende preferibile in pratica un modello più piccolo addestrato su più token, per cui i modelli distribuiti si collocano spesso al di sotto del numero di parametri qui restituito. Il rapporto fisso è esso stesso una stima che varia con il dataset e l'architettura, e gli addestramenti reali sostengono solo una frazione del throughput di picco dell'hardware. Il lato dataset dello stesso compromesso è trattato dal Calcolatore dei token ottimali secondo Chinchilla, mentre il calcolo grezzo di una configurazione scelta dal Calcolatore dei FLOP di addestramento.