Última actualización: 2026-06-22

El escalado de paralelismo de datos

El paralelismo de datos es la forma más habitual de entrenar un modelo más rápido: replicarlo en muchos aceleradores, dar a cada réplica una porción del lote y promediar sus gradientes en cada paso. En un mundo ideal, el rendimiento subiría en proporción exacta al número de dispositivos. En la práctica no lo hace, porque el promediado de gradientes que mantiene las réplicas sincronizadas cuesta un tiempo que crece con el clúster. Esta calculadora separa el rendimiento lineal ideal de la cifra realista tras esa pérdida, y reporta la aceleración resultante.

Ideal frente a real

El rendimiento ideal es el que daría un escalado perfecto: cada dispositivo aporta su tasa completa de forma aislada y sin sobrecarga. El rendimiento real es ese ideal descontado por una eficiencia de escalado, una sola fracción entre cero y uno que absorbe todas las imperfecciones de funcionar en paralelo. Una eficiencia de 0,9 significa que el clúster entrega el noventa por ciento del máximo teórico, de modo que un trabajo de 64 dispositivos se comporta como 57,6 dispositivos de escalado perfecto.

La fórmula

Con un número de dispositivos $d$, un rendimiento por dispositivo $v$ y una eficiencia de escalado $E$, el rendimiento ideal $I$, el rendimiento real $A$ y la aceleración $S$ frente a un dispositivo son

La aceleración es simplemente el número de dispositivos escalado por la eficiencia, porque un solo dispositivo funciona a $v$ y el clúster funciona a $A = d \cdot v \cdot E$.

Ejemplo resuelto

Tómense 64 dispositivos, cada uno sosteniendo 2.000 muestras por segundo por su cuenta, con una eficiencia de escalado medida de 0,9:

El clúster procesa 115.200 muestras por segundo, una aceleración de 57,6× frente a un solo dispositivo, no la de 64× que implicaría un escalado perfecto. Las cerca de 13.000 muestras por segundo de diferencia son el coste de mantener las réplicas sincronizadas.

Límites

El modelo condensa todas las fuentes de pérdida de escalado en un único número de eficiencia que aporta el usuario; no predice ese número a partir del ancho de banda de la interconexión, del tamaño del modelo ni del lote. La eficiencia tampoco es casi nunca constante: suele caer a medida que se añaden dispositivos, porque la reducción global de gradientes crece mientras el cómputo por dispositivo permanece fijo, de modo que un valor medido a un tamaño de clúster no debe suponerse a otro. Aquí se supone un paralelismo de datos puro; las implicaciones de esa replicación para el lote las cubre la calculadora de Calculadora de tamaño de lote efectivo, y la sobrecarga distinta de repartir un modelo entre etapas de canalización la calculadora de Calculadora de burbuja de paralelismo de canalización.