Ultimo aggiornamento: 2026-06-22

Parametri LoRA

Low-Rank Adaptation, o LoRA, è il modo più comune per fare il fine-tuning di un modello linguistico di grandi dimensioni con un budget limitato. Invece di aggiornare ogni peso, congela il modello base e addestra una piccola coppia di matrici a basso rango accanto a ciascuna matrice di pesi adattata. Il risultato si comporta quasi come un fine-tuning completo pur toccando una frazione minima dei parametri. Questo calcolatore stima a quanti parametri ammonta quella frazione, e quanta memoria dell'ottimizzatore richiede, a partire dalla forma del modello e dal rango dell'adattatore.

Come LoRA riduce l'insieme addestrabile

Una matrice di pesi di un transformer mappa un vettore nascosto in un altro, quindi per un livello quadrato contiene circa $d \times d$ valori. Fare il fine-tuning di tutti è costoso: l'ottimizzatore deve memorizzare gradienti e statistiche correnti per ognuno. LoRA sostituisce quell'aggiornamento denso con il prodotto di due matrici sottili — una di forma $d \times r$ e una di forma $r \times d$, dove il rango $r$ è molto più piccolo di $d$. I pesi base non si muovono mai; vengono addestrati solo questi due fattori e, in fase di inferenza, il loro prodotto viene riaggiunto alla matrice originale.

Poiché ogni matrice adattata contribuisce con $r \cdot (d_{\text{in}} + d_{\text{out}})$ valori addestrabili — e $2 r d_{\text{model}}$ quando le larghezze di ingresso e uscita sono uguali — l'insieme addestrabile è di solito ben al di sotto dell'uno percento del modello completo. È questo che rende LoRA pratico su un singolo acceleratore.

La formula

Con $L$ livelli, $m$ moduli adattati per livello, rango $r$ e dimensione nascosta $d$, il conteggio dei parametri addestrabili è

Adam a precisione mista mantiene all'incirca sedici byte di stato dell'ottimizzatore e dei pesi master per parametro addestrabile — la copia master a 32 bit, più le stime del primo e del secondo momento — quindi la memoria dell'ottimizzatore in megabyte è

Questo conta solo lo stato dell'adattatore. Il modello base congelato occupa ancora memoria per i suoi pesi, ma non ha bisogno di gradienti né di stato dell'ottimizzatore, ed è da qui che nasce il risparmio.

Esempio svolto

Prendiamo un modello con 32 livelli, che adatta le quattro proiezioni dell'attenzione in ciascun livello, al rango 8 con una dimensione nascosta di 4096:

Sono circa 8,39 milioni di parametri addestrabili. Lo stato dell'ottimizzatore è

Per un modello base da sette miliardi di parametri, quegli 8,39 milioni di adattatori sono all'incirca un decimo di percento dell'insieme — eppure sono sufficienti a specializzare il modello per molti compiti a valle.

Scegliere il rango e i moduli

Il rango è il principale regolatore di capacità. Ranghi da 4 a 8 sono comuni per un adattamento leggero del compito; da 16 a 64 danno più margine quando il compito di destinazione è lontano dall'addestramento del modello base. Raddoppiare il rango raddoppia sia i parametri addestrabili sia la memoria dell'ottimizzatore, quindi conviene aumentarlo solo quando un rango più basso sottoadatta. Il valore dei moduli per livello riflette quali matrici ricevono un adattatore: due per le sole query e value, quattro per l'intero blocco di attenzione, o più se vengono incluse le matrici feed-forward.

Per confrontare l'adattatore con la dimensione del modello completo, vedi il Calcolatore del numero di parametri di un transformer. Per dimensionare la memoria totale di una sessione di addestramento, inclusi i pesi congelati e le attivazioni, vedi il Calcolatore della VRAM di addestramento per LLM.