Ultimo aggiornamento: 2026-06-22

La scalabilità data-parallel

Il parallelismo dei dati è il modo più comune per addestrare un modello più in fretta: lo si replica su molti acceleratori, si dà a ciascuna replica una porzione del batch e si mediano i loro gradienti a ogni passo. In un mondo ideale il throughput crescerebbe in proporzione esatta al numero di dispositivi. Nella pratica non accade, perché la media dei gradienti che tiene sincronizzate le repliche costa un tempo che cresce con il cluster. Questo calcolatore separa il throughput ideale lineare dal valore realistico dopo quella perdita, e riporta l'accelerazione che ne risulta.

Ideale contro effettivo

Il throughput ideale è ciò che darebbe una scalatura perfetta: ogni dispositivo contribuisce con il proprio tasso autonomo completo senza overhead. Il throughput effettivo è quell'ideale scontato da un'efficienza di scalatura — un'unica frazione tra zero e uno che assorbe tutte le imperfezioni dell'esecuzione in parallelo. Un'efficienza di 0,9 significa che il cluster eroga il novanta per cento del massimo teorico, perciò un'esecuzione su 64 dispositivi si comporta come 57,6 dispositivi che scalano perfettamente.

La formula

Con un numero di dispositivi $d$, un throughput per dispositivo $v$ e un'efficienza di scalatura $E$, il throughput ideale $I$, il throughput effettivo $A$ e l'accelerazione $S$ rispetto a un dispositivo sono

L'accelerazione è semplicemente il numero di dispositivi ridotto dall'efficienza, perché un singolo dispositivo gira a $v$ e il cluster gira a $A = d \cdot v \cdot E$.

Esempio

Si considerino 64 dispositivi, ciascuno capace di sostenere 2.000 campioni al secondo da solo, con un'efficienza di scalatura misurata di 0,9:

Il cluster elabora 115.200 campioni al secondo — un'accelerazione di 57,6× rispetto a un singolo dispositivo, non i 64× che la scalatura perfetta implicherebbe. I circa 13.000 campioni al secondo di differenza sono il costo di tenere sincronizzate le repliche.

Limiti

Il modello condensa ogni fonte di perdita di scalatura in un unico valore di efficienza fornito dall'utente; non prevede quel valore dalla larghezza di banda dell'interconnessione, dalla dimensione del modello o dal batch. L'efficienza è inoltre raramente costante — di norma cala man mano che si aggiungono dispositivi, perché l'all-reduce dei gradienti cresce mentre il calcolo per dispositivo resta fisso — perciò un valore misurato a una certa dimensione del cluster non va assunto a un'altra. Qui si presuppone parallelismo puramente data-parallel; le implicazioni sul batch di quella replicazione sono trattate dal Calcolatore della dimensione effettiva del batch, e l'overhead distinto della suddivisione di un modello in stadi di pipeline dal Calcolatore della bolla del parallelismo a pipeline.