Dernière mise à jour : 2026-06-22

La mémoire pour l'accumulation de gradient

Les grands modèles de langage s'entraînent mieux avec de grands lots, mais un grand lot signifie de nombreux échantillons maintenus en mémoire simultanément — et la mémoire d'activation est souvent la première à déborder d'un GPU. L'accumulation de gradient résout cette tension : elle atteint un grand lot effectif tandis que le pic de mémoire d'activation reste à la taille d'un seul petit micro-lot. Ce calculateur montre les deux faces de ce compromis — le lot effectif qu'une configuration atteint et la mémoire d'activation qu'elle conserve réellement.

Ce que fait l'accumulation de gradient

Habituellement, un entraîneur met à jour les poids après chaque lot. Avec l'accumulation, il exécute plusieurs micro-lots à la suite, additionne leurs gradients et n'applique une étape de l'optimiseur qu'une fois le nombre de micro-lots visé traité. Le gradient sommé est identique à celui qu'un unique lot de cette taille combinée aurait produit, si bien que la mise à jour est mathématiquement la même — seul son rythme change. Les poids ne bougent qu'une fois par cycle d'accumulation, et non une fois par micro-lot.

Pourquoi la mémoire reste stable

Le pic de mémoire d'activation est régi par la plus grande passe avant et arrière vivante à un instant donné, c'est-à-dire un seul micro-lot. L'accumulation traite un micro-lot à la fois et ne conserve qu'une somme courante des gradients, dont la taille correspond à celle des paramètres du modèle et ne grandit pas avec le nombre d'étapes. Augmenter le nombre d'accumulations élève donc le lot effectif sans toucher à la mémoire d'activation. C'est tout l'intérêt : un grand lot effectif sur un budget mémoire qui ne pourrait jamais le contenir en une fois.

La formule

Avec une taille de micro-lot $b$, des étapes d'accumulation $a$, des répliques en parallélisme de données $g$ et un coût d'activation par échantillon $A$ en gigaoctets,

où $E$ est la taille de lot effective et $M$ le pic de mémoire d'activation sur un GPU. Le lot effectif se multiplie sur chaque réplique et chaque étape d'accumulation, tandis que le terme de mémoire ne dépend que du micro-lot.

Exemple chiffré

Prenons un micro-lot de 4 échantillons, accumulé sur 8 étapes sur un seul GPU, chaque échantillon coûtant 0,5 Go d'activations :

L'entraînement se déroule comme si le lot était de 32, alors que seuls 2 Go d'activations sont à tout moment résidents. Répartir la même configuration sur 4 GPU en parallélisme de données porte le lot effectif à $4 \times 8 \times 4 = 128$, et la mémoire d'activation par GPU reste de 2 Go.

Lire le résultat

La taille de lot effective est la valeur en fonction de laquelle sont réglés les calendriers de taux d'apprentissage et les autres hyperparamètres, et non le micro-lot. Notez que la mémoire d'activation n'est qu'une partie du budget d'entraînement : l'état de l'optimiseur, les gradients et les paramètres eux-mêmes dominent généralement, et ce calculateur isole délibérément le terme d'activation pour rendre visible le compromis de lots. Pour le tableau mémoire complet, voir le Calculateur de VRAM pour l'entraînement de LLM, et pour réduire le nombre de paramètres entraînables avec des adaptateurs de faible rang, le Calculateur de paramètres LoRA.