Dernière mise à jour : 2026-06-22

Paramètres LoRA

L'adaptation de rang faible, ou LoRA, est la façon la plus courante de fine-tuner un grand modèle de langage à moindre coût. Au lieu de mettre à jour chaque poids, elle fige le modèle de base et entraîne une petite paire de matrices de rang faible à côté de chaque matrice de poids adaptée. Le résultat se comporte presque comme un fine-tuning complet tout en ne touchant qu'une infime fraction des paramètres. Ce calculateur estime à combien de paramètres se monte cette fraction, et combien de mémoire d'optimiseur elle nécessite, à partir de la forme du modèle et du rang de l'adaptateur.

Comment LoRA réduit l'ensemble entraînable

Une matrice de poids de transformeur transforme un vecteur caché en un autre, si bien que pour une couche carrée elle contient environ $d \times d$ valeurs. Les entraîner toutes coûte cher : l'optimiseur doit stocker des gradients et des statistiques courantes pour chacune. LoRA remplace cette mise à jour dense par le produit de deux matrices fines — l'une de forme $d \times r$ et l'autre de forme $r \times d$, où le rang $r$ est bien plus petit que $d$. Les poids de base ne bougent jamais ; seuls ces deux facteurs sont entraînés, et à l'inférence leur produit est réintégré dans la matrice d'origine.

Comme chaque matrice adaptée apporte $r \cdot (d_{\text{in}} + d_{\text{out}})$ valeurs entraînables — et $2 r d_{\text{model}}$ lorsque les largeurs d'entrée et de sortie sont égales — l'ensemble entraînable représente généralement bien moins d'un pour cent du modèle complet. C'est ce qui rend LoRA praticable sur un seul accélérateur.

La formule

Avec $L$ couches, $m$ modules adaptés par couche, un rang $r$ et une taille cachée $d$, le nombre de paramètres entraînables vaut

Adam en précision mixte conserve environ seize octets d'état d'optimiseur et de poids maîtres par paramètre entraînable — la copie maître en 32 bits, plus les estimations des premier et second moments — si bien que la mémoire d'optimiseur en mégaoctets vaut

Cela ne compte que l'état de l'adaptateur. Le modèle de base figé occupe toujours de la mémoire pour ses poids, mais il n'a besoin ni de gradients ni d'état d'optimiseur, et c'est de là que vient l'économie.

Exemple chiffré

Prenons un modèle de 32 couches, adaptant les quatre projections d'attention de chaque couche, au rang 8 avec une taille cachée de 4096 :

Soit environ 8,39 millions de paramètres entraînables. L'état de l'optimiseur vaut

Pour un modèle de base de sept milliards de paramètres, ces 8,39 millions d'adaptateurs représentent à peu près un dixième de pour cent de l'ensemble — et pourtant ils suffisent à spécialiser le modèle pour de nombreuses tâches en aval.

Choisir le rang et les modules

Le rang est le principal réglage de capacité. Des rangs de 4 à 8 sont courants pour une adaptation légère à une tâche ; de 16 à 64 offrent plus de marge lorsque la tâche cible est éloignée des données d'entraînement du modèle de base. Doubler le rang double à la fois les paramètres entraînables et la mémoire d'optimiseur, aussi ne vaut-il la peine de l'augmenter que lorsqu'un rang plus faible sous-ajuste. L'entrée modules par couche reflète les matrices qui reçoivent un adaptateur : deux pour la requête et la valeur seulement, quatre pour le bloc d'attention complet, ou davantage si les matrices feed-forward sont incluses.

Pour comparer l'adaptateur à la taille du modèle complet, voir le Calculateur du nombre de paramètres d'un transformeur. Pour dimensionner la mémoire totale d'une session d'entraînement incluant les poids figés et les activations, voir le Calculateur de VRAM pour l'entraînement de LLM.