Última atualização: 2026-06-22

Escalonamento com paralelismo de dados

O paralelismo de dados é a forma mais comum de treinar um modelo mais rápido: replicá-lo em muitos aceleradores, dar a cada réplica uma fatia do lote e promediar os gradientes a cada passo. Num mundo ideal, a vazão cresceria em proporção exata à contagem de dispositivos. Na prática isso não ocorre, porque a promediação de gradientes que mantém as réplicas em sincronia custa tempo que cresce com o cluster. Esta calculadora separa a vazão linear ideal do valor realista após essa perda, e reporta o ganho de velocidade resultante.

Ideal versus real

A vazão ideal é o que um escalonamento perfeito daria: cada dispositivo contribui com sua taxa individual completa sem sobrecarga. A vazão real é esse ideal descontado por uma eficiência de escalonamento — uma única fração entre zero e um que absorve todas as imperfeições de rodar em paralelo. Uma eficiência de 0,9 significa que o cluster entrega noventa por cento do máximo teórico, de modo que um trabalho de 64 dispositivos se comporta como 57,6 dispositivos de escalonamento perfeito.

A fórmula

Com contagem de dispositivos $d$, vazão por dispositivo $v$ e eficiência de escalonamento $E$, a vazão ideal $I$, a vazão real $A$ e o ganho de velocidade $S$ relativo a um dispositivo são

O ganho de velocidade é apenas a contagem de dispositivos multiplicada pela eficiência, porque um único dispositivo roda a $v$ e o cluster roda a $A = d \cdot v \cdot E$.

Exemplo resolvido

Tome 64 dispositivos, cada um sustentando 2.000 amostras por segundo por conta própria, com uma eficiência de escalonamento medida de 0,9:

O cluster processa 115.200 amostras por segundo — um ganho de 57,6× sobre um único dispositivo, não os 64× que o escalonamento perfeito implicaria. As cerca de 13.000 amostras por segundo de diferença são o custo de manter as réplicas sincronizadas.

Limites

O modelo condensa todas as fontes de perda de escalonamento em um único número de eficiência que o usuário fornece; ele não prevê esse número a partir da largura de banda da interconexão, do tamanho do modelo ou do lote. A eficiência também raramente é constante — costuma cair à medida que mais dispositivos são acrescentados, porque o all-reduce de gradiente cresce enquanto a computação por dispositivo permanece fixa — de modo que um valor medido em um tamanho de cluster não deve ser suposto em outro. Aqui se supõe paralelismo de dados puro; as implicações de lote dessa replicação são cobertas na Calculadora de Tamanho Efetivo de Lote, e a sobrecarga distinta de dividir um modelo em estágios de pipeline na Calculadora de Bolha do Paralelismo de Pipeline.