Dernière mise à jour : 2026-06-22

Le nombre de GPU pour un modèle

Un grand modèle de langage doit tenir dans la mémoire des accélérateurs avant de pouvoir servir le moindre jeton. Quand le modèle est plus volumineux qu'un seul GPU, il est réparti sur plusieurs, et la première question de planification est simplement de savoir combien d'appareils sont nécessaires. Ce calculateur y répond à partir de trois nombres : la VRAM totale dont le modèle a besoin, la mémoire de chaque GPU et la fraction de cette mémoire qu'un déploiement réel peut effectivement utiliser.

Pourquoi un modèle s'étend sur plusieurs GPU

Un accélérateur moderne embarque une quantité fixe de mémoire à haute bande passante — 80 Go sur un H100, 141 Go sur un H200. Un modèle dont les poids et les tampons d'exécution dépassent ce chiffre ne peut pas résider sur un seul appareil : il est donc découpé. Le parallélisme de tenseurs est la méthode habituelle : chaque couche est répartie sur le groupe, chaque GPU détient une tranche des poids, et les résultats partiels sont recousus par une étape de communication collective à chaque couche. Le groupe se comporte alors comme un appareil plus grand. Le nombre produit par ce calculateur décrit ce groupe unique étroitement couplé, et non un ensemble de répliques indépendantes.

La mémoire utilisable est inférieure à la valeur nominale

Un GPU ne cède jamais la totalité de sa mémoire annoncée au modèle. Le contexte CUDA, l'allocateur à cache du framework, les tenseurs d'activation et la fragmentation entre allocations en prennent une part, et pendant le service le cache clé-valeur grandit avec la longueur de contexte et la taille de lot. Considérer environ 80 à 90 pour cent de la valeur nominale comme utilisable laisse une marge réaliste ; s'approcher du chiffre complet invite à des échecs par mémoire insuffisante sous charge.

La formule

Avec un besoin du modèle de $M$ gigaoctets, une mémoire par GPU de $g$ gigaoctets et une fraction utilisable $f$, le nombre d'appareils et la mémoire totale valent

où $n$ est le nombre de GPU et $T$ leur mémoire nominale combinée. Le plafond arrondit vers le haut car un modèle ne peut pas tourner sur un accélérateur fractionnaire.

Exemple chiffré

Prenons un modèle réclamant 140 Go de VRAM sur des GPU de 80 Go chacun, avec 90 pour cent de mémoire utilisable :

Deux GPU suffisent, avec 160 Go de mémoire nominale face à un besoin de 140 Go — une marge confortable pour le cache clé-valeur. Un modèle de 350 Go sur le même matériel exige $\lceil 350 / 72 \rceil = 5$ GPU.

Au-delà du minimum

Le nombre indiqué ici ne répond qu'à la question de l'adéquation. Ajouter des accélérateurs au-delà de ce point achète de la marge de mémoire — un cache clé-valeur plus grand, une taille de lot supérieure, de la place pour des contextes plus longs — et augmente le débit plutôt que de changer le fait que le modèle tienne, tandis que le surcoût de communication du découpage érode peu à peu l'efficacité par GPU. Le dimensionnement pour la performance est un exercice distinct. Pour estimer le besoin de mémoire sous-jacent qui alimente l'entrée $M$, voir le Calculateur de VRAM pour l'inférence LLM, et pour transformer un nombre d'appareils en coût d'exploitation, le Calculateur de coût GPU cloud.