Ultimo aggiornamento: 2026-06-22

FLOPs per token

Quanto calcolo spende un modello linguistico per un singolo token? La risposta sta alla base di quasi ogni stima approssimativa del settore — budget di addestramento, costi di inferenza e utilizzo dell'hardware partono tutti da essa. La scorciatoia standard è notevolmente semplice: un transformer denso esegue circa due operazioni in virgola mobile per parametro per elaborare un token, e circa sei durante l'addestramento. Questo calcolatore applica quelle regole al conteggio dei parametri di un modello.

La regola del 2N

Il calcolo di un transformer è dominato dalle grandi moltiplicazioni di matrici, e in ciascuna di esse ogni peso viene toccato una volta per token. Una singola moltiplicazione-accumulazione conta come due operazioni in virgola mobile — una moltiplicazione e un'addizione — perciò spingere un token attraverso un modello con $N$ parametri costa all'incirca due operazioni per parametro, la regola del 2N, nel passaggio in avanti. È la stima del lavoro sulle leggi di scala di Kaplan, ed è diventata la valuta universale per ragionare sul calcolo dei modelli. Ignora deliberatamente tutto ciò che non è una moltiplicazione di matrici pesata dai parametri, il che è una buona approssimazione per i modelli grandi.

Costo in avanti e in addestramento

Addestrare un modello richiede anche un passaggio all'indietro per calcolare i gradienti. Il passaggio all'indietro produce i gradienti rispetto sia alle attivazioni sia ai pesi, ciascuno all'incirca il costo del passaggio in avanti, perciò raddoppia all'incirca il lavoro in avanti. Il totale è circa tre passaggi in avanti, ovvero sei operazioni per parametro per token (la stima del 6N):

con il fattore $k$ pari a due per un passaggio in avanti e sei per un passo di addestramento. Poiché $N$ viene inserito in miliardi, la cifra in avanti cade direttamente in GFLOPs.

Esempio svolto

Per un modello da 70 miliardi di parametri in un passaggio in avanti:

Ogni token generato costa circa 140 GFLOPs. Moltiplicando per il throughput totale di un modello si ottiene il ritmo di calcolo raggiunto, e dividendolo per il picco di un acceleratore si ottiene il suo utilizzo. Addestrare lo stesso modello costerebbe $6 \times 70 = 420$ GFLOPs per token, e moltiplicare il costo di addestramento per il totale dei token di un dataset è il modo usuale per dimensionare il budget di calcolo di un'esecuzione di addestramento.

Che cosa tralascia

La regola conta solo le moltiplicazioni di matrici che coinvolgono parametri. Il meccanismo di attenzione aggiunge un termine separato che cresce con la lunghezza della sequenza e non dipende dal conteggio dei parametri; per i modelli tipici a lunghezze di contesto moderate è piccolo, ma a contesti molto lunghi può diventare significativo. Gli strati di embedding e normalizzazione sono parimenti omessi. Per queste ragioni la cifra è una stima per la scala e il budget, non un conteggio esatto delle istruzioni. Per vedere il calcolo raggiunto come frazione del picco dell'hardware, si prosegua con l'Calcolatore dell'utilizzo dei FLOPs del modello.