Dernière mise à jour : 2026-06-22

Le nombre de paramètres d'un transformeur

La taille d'un grand modèle de langage est habituellement annoncée par un seul chiffre phare — sept milliards, soixante-dix milliards — mais cette valeur est entièrement déterminée par une poignée de choix architecturaux. Étant donné le nombre de couches, la taille cachée, l'expansion à propagation avant et le vocabulaire, le nombre total de paramètres découle d'une formule courte. Ce calculateur applique cette formule pour donner une estimation au premier ordre, le même raisonnement de coin de table employé pour dimensionner un modèle avant que le moindre poids n'existe.

Où résident les paramètres

Presque tous les poids d'un transformeur à décodeur seul se trouvent à l'un de trois endroits. La sous-couche d'attention de chaque bloc détient quatre matrices de poids carrées — les projections de requête, de clé, de valeur et de sortie — chacune de taille cachée par cachée. La sous-couche à propagation avant détient deux matrices qui dilatent le flux caché vers une dimension interne plus large puis le reprojettent. Et, à part de la pile de couches, la table d'embeddings de jetons stocke un vecteur de taille cachée pour chaque entrée du vocabulaire.

Compter ces éléments donne l'estimation architecturale. Le bloc d'attention apporte environ $4d^2$ valeurs par couche, où $d$ est la taille cachée. Le bloc à propagation avant, se dilatant vers une largeur interne de $m \cdot d$, apporte environ $2 m d^2$. La table d'embeddings apporte la taille du vocabulaire $V$ fois $d$.

La formule

Avec $L$ couches, une taille cachée $d$, un multiplicateur de propagation avant $m$ et une taille de vocabulaire $V$, le nombre total de paramètres vaut

Le premier terme rassemble les poids d'attention et de propagation avant par couche sur toutes les couches ; le second est la table d'embeddings. Comme le terme par couche croît avec le carré de la taille cachée, la largeur du modèle importe bien plus que la profondeur : doubler la taille cachée quadruple à peu près le total, tandis que doubler les couches ne fait que le doubler.

Exemple chiffré

Prenons un modèle à 32 couches, d'une taille cachée de 4096, d'une expansion à propagation avant de quatre et d'un vocabulaire de 32 000 jetons. Le facteur par couche est $4 + 2 \times 4 = 12$, d'où

La pile de couches en représente presque la totalité ; la table d'embeddings n'ajoute qu'environ 131 millions, un peu plus de deux pour cent. Avec l'expansion courante de quatre, environ deux tiers de chaque couche résident dans les poids à propagation avant et un tiers dans l'attention.

Ce que l'estimation laisse de côté

Il s'agit d'un décompte au premier ordre. Il capture les matrices qui dominent le total mais omet les termes mineurs : les biais, les valeurs d'échelle et de décalage de la normalisation par couche, et tout embedding de position appris. Ensemble, ils représentent typiquement bien moins d'un pour cent d'un grand modèle, ils ne déplacent donc pas le chiffre phare. L'estimation suppose aussi que l'embedding d'entrée et la projection de sortie partagent une seule matrice — embeddings liés — de sorte que la table n'est comptée qu'une fois ; un modèle aux embeddings non liés porte cette table deux fois.

Une fois le décompte connu, il oriente les questions pratiques du déploiement. La mémoire nécessaire pour héberger les poids dépend du décompte et de la précision numérique, explorée dans le Calculateur de taille de modèle selon la quantification. La mémoire requise pour entraîner le même modèle, qui ajoute l'état de l'optimiseur et les activations par-dessus les poids, est traitée dans le Calculateur de VRAM pour l'entraînement de LLM.