Dernière mise à jour : 2026-06-22

La taille de lot effective

La taille de lot effective est le nombre d'exemples d'entraînement qui contribuent à une seule mise à jour de l'optimiseur. Sur un appareil unique, elle égale le micro-lot, mais l'entraînement distribué répartit le travail sur de nombreux accélérateurs et somme souvent plusieurs passes avant chaque changement de poids : le lot global que voit réellement l'optimiseur peut donc être des centaines de fois plus grand que ce qui tient sur une seule puce. Ce calcul reconstitue ce chiffre global, et les jetons qu'il représente, à partir des trois facteurs qui le produisent.

Pourquoi le lot global importe

Presque tous les calendriers de taux d'apprentissage, longueurs d'échauffement et résultats de convergence de la littérature s'expriment en fonction du lot global, et non du micro-lot par appareil. Une équipe qui passe de 8 à 64 appareils sans recalculer le lot effectif modifie en silence la dynamique d'optimisation — le même code prend désormais un pas huit fois plus grand par mise à jour — et risque de diverger ou de stagner. Connaître le lot effectif est donc un préalable pour ajuster le taux d'apprentissage, reproduire une recette publiée ou comparer deux entraînements sur des grappes de tailles différentes.

La formule

Trois facteurs indépendants se multiplient. Avec un micro-lot par appareil $b$, un nombre de copies en parallélisme de données $d$ et des étapes d'accumulation de gradient $a$, le lot effectif $B$ et les jetons par étape d'optimisation $T$ à une longueur de séquence $L$ valent

Chaque copie en parallélisme de données traite son propre micro-lot et les gradients sont moyennés : les copies multiplient donc le lot. L'accumulation somme $a$ passes successives avant une mise à jour, ce qui le multiplie de nouveau. Le nombre de jetons est simplement le nombre de séquences multiplié par la longueur de chacune.

Exemple chiffré

Soit un micro-lot de 8 séquences sur chacun de 64 appareils, avec 4 étapes d'accumulation et un contexte de 4 096 jetons :

L'optimiseur voit 2 048 séquences — soit environ 8,4 millions de jetons — par mise à jour, alors qu'aucun appareil ne détient jamais plus de 8 séquences à la fois. Doubler les étapes d'accumulation, à 8, porterait le lot effectif à 4 096 sans modifier la mémoire par appareil, au prix de deux fois plus de passes entre deux mises à jour.

Limites

Ce modèle couvre la réplication en parallélisme de données et l'accumulation de gradient, les deux facteurs qui modifient le lot global. Il néglige délibérément les parallélismes de tenseur, de pipeline et de séquence : ceux-ci répartissent un même modèle ou une même séquence sur plusieurs appareils pour tenir en mémoire, mais n'agrandissent pas le lot global — les appareils entre lesquels une copie est fragmentée ne doivent donc pas être comptés dans $d$. Le nombre de jetons suppose en outre une longueur de séquence fixe ; les lots de longueur variable ou compactés exigent un décompte de jetons distinct. Le versant mémoire du choix du micro-lot est traité par le Calculateur de mémoire pour l'accumulation de gradient, et la façon dont le débit évolue à mesure que des appareils s'ajoutent par le Mise à l'échelle en parallélisme de données.