Ultimo aggiornamento: 2026-06-22

Dimensione effettiva del batch

La dimensione effettiva del batch è il numero di esempi di addestramento che contribuiscono a un singolo aggiornamento dell'ottimizzatore. Su un solo dispositivo coincide con il micro-batch, ma l'addestramento distribuito ripartisce il lavoro su molti acceleratori e spesso somma più passaggi prima di ogni cambiamento dei pesi, perciò il batch globale che l'ottimizzatore vede davvero può essere centinaia di volte più grande di quanto entri in un singolo chip. Questo calcolatore ricostruisce quel valore globale, e i token che rappresenta, dai tre fattori che lo producono.

Perché il batch globale conta

Quasi ogni pianificazione del learning rate, lunghezza del warmup e risultato di convergenza in letteratura è espressa in termini di batch globale, non di micro-batch per dispositivo. Un team che passa da 8 a 64 dispositivi senza ricalcolare il batch effettivo cambia silenziosamente le dinamiche di ottimizzazione — lo stesso codice ora compie un passo 8 volte più grande per aggiornamento — e rischia di divergere o di bloccarsi. Conoscere il batch effettivo è quindi un prerequisito per tarare il learning rate, riprodurre una ricetta pubblicata o confrontare due esecuzioni su cluster di dimensioni diverse.

La formula

Tre fattori indipendenti si moltiplicano tra loro. Con un micro-batch per dispositivo $b$, il numero di repliche data-parallel $d$ e i passi di accumulo del gradiente $a$, il batch effettivo $B$ e i token per passo dell'ottimizzatore $T$ alla lunghezza di sequenza $L$ sono

Ogni replica data-parallel elabora il proprio micro-batch e i gradienti vengono mediati, perciò le repliche moltiplicano il batch. L'accumulo somma $a$ passaggi successivi prima di un aggiornamento, moltiplicandolo di nuovo. Il conteggio dei token è semplicemente il numero di sequenze per la lunghezza di ciascuna.

Esempio

Si consideri un micro-batch di 8 sequenze su ciascuno di 64 dispositivi, con 4 passi di accumulo e un contesto da 4.096 token:

L'ottimizzatore vede 2.048 sequenze — all'incirca 8,4 milioni di token — per aggiornamento, anche se nessun singolo dispositivo contiene mai più di 8 sequenze alla volta. Raddoppiare i passi di accumulo a 8 porterebbe il batch effettivo a 4.096 senza alcuna variazione della memoria per dispositivo, al costo del doppio dei passaggi tra un aggiornamento e l'altro.

Limiti

Questo modello copre la replicazione data-parallel e l'accumulo del gradiente, i due fattori che cambiano il batch globale. Ignora deliberatamente il parallelismo a tensori, a pipeline e a sequenze: questi suddividono un singolo modello o una sequenza tra i dispositivi per stare in memoria, ma non ingrandiscono il batch globale, perciò i dispositivi tra cui una replica è frammentata non vanno conteggiati in $d$. Il dato in token presuppone inoltre una lunghezza di sequenza fissa; i batch a lunghezza variabile o impacchettati richiedono un conteggio dei token separato. Il lato della memoria nella scelta del micro-batch è trattato dal Calcolatore della memoria con accumulo del gradiente, mentre il modo in cui il throughput scala aggiungendo dispositivi è coperto dal Calcolatore della scalabilità data-parallel.