Ultimo aggiornamento: 2026-06-22

Numero di GPU per un modello

Un modello linguistico di grandi dimensioni deve entrare nella memoria dell'acceleratore prima di poter servire anche un solo token. Quando il modello è più grande di una singola GPU, viene suddiviso su più dispositivi, e la prima domanda di pianificazione è semplicemente quanti dispositivi servono. Questo calcolatore risponde a partire da tre numeri: la VRAM totale richiesta dal modello, la memoria di ciascuna GPU e la frazione di quella memoria che un deployment reale può effettivamente usare.

Perché un modello occupa più GPU

Un acceleratore moderno dispone di una quantità fissa di memoria ad alta larghezza di banda — 80 GB su una H100, 141 GB su una H200. Un modello i cui pesi e buffer di runtime superano quel valore non può risiedere su un singolo dispositivo, quindi viene suddiviso. Il parallelismo dei tensori è il metodo abituale: ogni strato è ripartito sul gruppo, ogni GPU contiene una porzione dei pesi e i risultati parziali vengono ricuciti insieme con un passo di comunicazione collettiva a ogni strato. Il gruppo si comporta allora come un unico dispositivo più grande. Il numero prodotto da questo calcolatore descrive quel singolo gruppo strettamente accoppiato, non un insieme di repliche indipendenti.

La memoria utilizzabile è inferiore al valore nominale

Una GPU non cede mai l'intera memoria pubblicizzata al modello. Il contesto CUDA, l'allocatore con cache del framework, i tensori delle attivazioni e la frammentazione tra le allocazioni si prendono tutti una quota, e durante il servizio la cache chiave-valore cresce con la lunghezza del contesto e la dimensione del batch. Considerare utilizzabile circa l'80-90 percento del valore nominale lascia un margine realistico; avvicinarsi al valore pieno invita a fallimenti per memoria esaurita sotto carico.

La formula

Con un fabbisogno del modello di $M$ gigabyte, una memoria per GPU di $g$ gigabyte e una frazione utilizzabile $f$, il numero di dispositivi e la memoria totale sono

dove $n$ è il numero di GPU e $T$ è la loro memoria nominale combinata. L'arrotondamento per eccesso è dovuto al fatto che un modello non può girare su una frazione di acceleratore.

Esempio svolto

Consideriamo un modello che richiede 140 GB di VRAM su GPU da 80 GB ciascuna, con il 90 percento della memoria utilizzabile:

Due GPU bastano, con 160 GB di memoria nominale a fronte di un fabbisogno di 140 GB — un comodo margine per la cache chiave-valore. Un modello da 350 GB sullo stesso hardware richiede $\lceil 350 / 72 \rceil = 5$ GPU.

Oltre il minimo

Il numero qui risponde solo alla domanda sulla capienza. Aggiungere acceleratori oltre quel punto compra margine di memoria — una cache chiave-valore più grande, una dimensione del batch maggiore, spazio per contesti più lunghi — e aumenta il throughput anziché cambiare se il modello entra, mentre l'overhead di comunicazione della suddivisione erode gradualmente l'efficienza per GPU. Il dimensionamento per le prestazioni è un esercizio a parte. Per stimare il fabbisogno di memoria sottostante che alimenta l'input $M$, vedi il Calcolatore della VRAM di inferenza per LLM, e per trasformare un numero di dispositivi in un costo operativo, il Calcolatore del costo delle GPU cloud.