Ultimo aggiornamento: 2026-06-22

La bolla del parallelismo a pipeline

Il parallelismo a pipeline suddivide un modello in stadi sequenziali e colloca ciascuno su un diverso gruppo di dispositivi, così che un blocco di strati sul primo dispositivo passa la propria uscita al successivo, e così via. Consente a un modello troppo grande per un singolo acceleratore di estendersi su più dispositivi, ma paga un dazio caratteristico: gli stadi non possono essere tutti occupati nello stesso momento. All'inizio di un batch gli stadi successivi restano inattivi in attesa che i dati li raggiungano, e alla fine i primi stadi si fermano mentre gli ultimi microbatch defluiscono. Quell'intervallo di inattività è la bolla della pipeline, e questo calcolatore la quantifica.

Da dove viene la bolla

Si immagini una catena di montaggio con otto postazioni. Il primo pezzo deve attraversare le postazioni da uno a sette prima che la postazione otto abbia qualcosa da fare; a quel punto sono trascorsi sette passi in cui la linea non era pienamente sfruttata. Lo stesso accade all'inverso quando la linea si svuota. Per una pipeline di $p$ stadi questo avvio e raffreddamento costa $p\,{-}\,1$ passi a prescindere da quanto lavoro segue. Se quel costo fisso pesi dipende da quanti microbatch gli scorrono dietro.

La formula

Con $p$ stadi di pipeline e $m$ microbatch, la frazione di bolla $B$ e l'efficienza complementare $E$ per una pianificazione sincrona standard sono

Il denominatore è il numero totale di passi della pipeline — gli $m$ microbatch utili più i $p\,{-}\,1$ passi di riempimento e svuotamento. Le due frazioni sommano sempre a uno, poiché ogni passo è lavoro utile oppure bolla.

Esempio

Si consideri una pipeline a 8 stadi alimentata con 32 microbatch per batch:

Quasi il diciotto per cento della pianificazione va perso per la bolla, lasciando circa l'ottantadue per cento al calcolo utile. Portare il numero di microbatch a 64 ridurrebbe la bolla a circa l'undici per cento, poiché il riempimento fisso di sette passi viene ora distribuito su più lavoro.

Limiti

La formula presuppone la pianificazione sincrona standard, stadi di costo uguale e una comunicazione tra stadi abbastanza piccola da trascurare. Le pianificazioni interlacciate, che assegnano a ciascun dispositivo più segmenti di stadio non contigui, tagliano la bolla sotto il valore qui calcolato, mentre costi disuguali degli stadi o pesanti trasferimenti tra stadi possono peggiorare l'efficienza reale. Il numero di microbatch qui è anche la stessa grandezza che, attraverso il batch globale, governa il comportamento dell'ottimizzatore — si veda il Calcolatore della dimensione effettiva del batch — e il parallelismo a pipeline è di solito combinato con il parallelismo dei dati, la cui perdita di scalatura distinta è trattata dal Calcolatore della scalabilità data-parallel.