Ultimo aggiornamento: 2026-06-22

Numero di parametri di un transformer

La dimensione di un modello linguistico di grandi dimensioni viene di solito riportata come un singolo numero di riferimento — sette miliardi, settanta miliardi — ma quel valore è determinato interamente da una manciata di scelte architetturali. Dati il numero di strati, la dimensione nascosta, l'espansione feed-forward e il vocabolario, il numero totale di parametri segue da una breve formula. Questo calcolatore applica quella formula per fornire una stima di primo ordine, lo stesso ragionamento a spanne usato per dimensionare un modello prima che esista alcun peso.

Dove risiedono i parametri

Quasi ogni peso in un transformer solo-decoder si trova in uno di tre posti. Il sottostrato di attenzione di ogni blocco contiene quattro matrici di pesi quadrate — le proiezioni di query, chiave, valore e output — ciascuna di dimensione nascosta per nascosta. Il sottostrato feed-forward contiene due matrici che espandono il flusso nascosto a una dimensione interna più larga e lo riproiettano indietro. E, separata dalla pila di strati, la tabella degli embedding dei token memorizza un vettore di dimensione nascosta per ogni voce del vocabolario.

Contare questi elementi dà la stima architetturale. Il blocco di attenzione contribuisce con circa $4d^2$ valori per strato, dove $d$ è la dimensione nascosta. Il blocco feed-forward, espandendosi a una larghezza interna di $m \cdot d$, contribuisce con circa $2 m d^2$. La tabella degli embedding contribuisce con la dimensione del vocabolario $V$ per $d$.

La formula

Con $L$ strati, dimensione nascosta $d$, moltiplicatore feed-forward $m$ e dimensione del vocabolario $V$, il numero totale di parametri è

Il primo termine raccoglie i pesi di attenzione e feed-forward per strato su tutti gli strati; il secondo è la tabella degli embedding. Poiché il termine per strato cresce con il quadrato della dimensione nascosta, la larghezza del modello conta molto più della profondità: raddoppiare la dimensione nascosta quadruplica all'incirca il conteggio, mentre raddoppiare gli strati lo raddoppia soltanto.

Esempio svolto

Consideriamo un modello con 32 strati, una dimensione nascosta di 4096, un'espansione feed-forward di quattro e un vocabolario di 32.000 token. Il fattore per strato è $4 + 2 \times 4 = 12$, quindi

La pila di strati ne rappresenta quasi la totalità; la tabella degli embedding aggiunge solo circa 131 milioni, poco più del due percento. Con l'espansione comune di quattro, circa due terzi di ogni strato risiedono nei pesi feed-forward e un terzo nell'attenzione.

Cosa tralascia la stima

Questo è un conteggio di primo ordine. Cattura le matrici che dominano il totale ma omette i termini piccoli: i bias, i valori di scala e traslazione della normalizzazione di strato e gli eventuali embedding di posizione appresi. Insieme questi sono tipicamente ben al di sotto dell'uno percento di un modello grande, quindi non spostano il valore di riferimento. La stima assume anche che l'embedding di input e la proiezione di output condividano una sola matrice — embedding legati — quindi la tabella viene contata una volta; un modello con embedding non legati porta quella tabella due volte.

Una volta noto il conteggio, esso guida le questioni pratiche del deployment. La memoria necessaria per contenere i pesi dipende dal conteggio e dalla precisione numerica, esplorata nel Calcolatore della dimensione del modello dalla quantizzazione. La memoria richiesta per addestrare lo stesso modello, che aggiunge lo stato dell'ottimizzatore e le attivazioni sopra i pesi, è trattata nel Calcolatore della VRAM di addestramento per LLM.