Ultimo aggiornamento: 2026-06-22

Dimensione del modello dalla quantizzazione

La dimensione di un modello linguistico di grandi dimensioni su disco è determinata quasi interamente da quanti parametri possiede e da quanti bit vengono usati per memorizzare ciascun parametro. Un peso è semplicemente un numero, e un modello è un lungo elenco di numeri, quindi moltiplicare il conteggio per la larghezza in bit di ciascun peso e convertire in byte fornisce una stima accurata della dimensione del file — e di quanta memoria serve per caricarlo. Questo calcolatore trasforma un numero di parametri e un formato di quantizzazione in un valore espresso sia in gigabyte decimali sia in gibibyte binari.

La formula

Con un numero di parametri $N$ in miliardi e una larghezza in bit $b$ per parametro, la dimensione dei pesi in gigabyte decimali è

La divisione per otto converte i bit in byte. Poiché un miliardo di byte è esattamente un gigabyte decimale, esprimere $N$ in miliardi fa sì che il risultato venga direttamente in gigabyte. La stessa quantità in gibibyte binari — l'unità mostrata dalla maggior parte dei sistemi operativi e degli strumenti per GPU — è

dato che un gibibyte è $2^{30} = 1\,073\,741\,824$ byte.

Esempio svolto

Consideriamo un modello da 7 miliardi di parametri memorizzato a 16 bit per peso, il formato standard a mezza precisione in cui viene distribuita la maggior parte dei modelli:

I pesi occupano quindi circa 14 GB su disco, che uno strumento di memoria riporta come circa 13 GiB. Quantizzare lo stesso modello a 4 bit memorizzerebbe ogni peso in un quarto dello spazio, riducendo il file a circa 3,5 GB.

Scegliere una precisione

La piena precisione a 32 bit viene usata principalmente durante l'addestramento. Per il deployment, i 16 bit sono il riferimento abituale, mentre la quantizzazione a 8 e a 4 bit baratta una parte dell'accuratezza con la metà o un quarto dell'ingombro. I formati a pochi bit come INT4 sono ciò che permette a un modello con decine di miliardi di parametri di entrare in una singola GPU di fascia consumer. La stima della dimensione qui riportata copre solo i pesi; l'esecuzione del modello richiede anche spazio per le attivazioni e la cache chiave-valore, di cui tiene conto il Calcolatore della VRAM di inferenza per LLM. Per trasformare una dimensione in un tempo di trasferimento su una data connessione, vedi il Calcolatore del tempo di download di un modello.