Calculadora de burbuja de paralelismo de canalización
Datos de entrada
| Etapas de canalización | 8 |
|---|---|
| Microlotes | 32 |
Calculadora de burbuja de paralelismo de canalización
Datos de entrada
Canalización
≥ 1
≥ 1
Resultados
Introduce un valor para ver los resultados.
%
%
Recomendaciones
Calculadora de escalado de paralelismo de datos
Estima el rendimiento real de entrenamiento entre dispositivos de paralelismo de datos a partir del rendimiento por dispositivo y la eficiencia de escalado, con el rendimiento lineal ideal y la aceleración alcanzada frente a un solo dispositivo.
Calculadora de tamaño de lote efectivo
Calcula el tamaño de lote efectivo (global) para el entrenamiento distribuido a partir del microlote por dispositivo, el número de dispositivos de paralelismo de datos y los pasos de acumulación de gradiente, junto con los tokens por paso del optimizador.