Última actualización: 2026-06-22

Tamaño de lote efectivo

El tamaño de lote efectivo es el número de ejemplos de entrenamiento que contribuyen a una sola actualización del optimizador. En un único dispositivo equivale al microlote, pero el entrenamiento distribuido reparte el trabajo entre muchos aceleradores y a menudo suma varias pasadas antes de cada cambio de pesos, de modo que el lote global que el optimizador ve realmente puede ser cientos de veces mayor que el que cabe en un solo chip. Esta calculadora reconstruye esa cifra global, y los tokens que representa, a partir de los tres factores que la producen.

Por qué importa el lote global

Casi todos los calendarios de tasa de aprendizaje, las longitudes de calentamiento y los resultados de convergencia de la literatura se expresan en términos del lote global, no del microlote por dispositivo. Un equipo que escala de 8 a 64 dispositivos sin recalcular el lote efectivo cambiará en silencio la dinámica de optimización —el mismo código da ahora un paso 8 veces mayor por actualización— y puede divergir o estancarse. Conocer el lote efectivo es, por tanto, un requisito previo para ajustar la tasa de aprendizaje, reproducir una receta publicada o comparar dos ejecuciones en clústeres de distinto tamaño.

La fórmula

Tres factores independientes se multiplican entre sí. Con un microlote por dispositivo $b$, un número de réplicas de paralelismo de datos $d$ y unos pasos de acumulación de gradiente $a$, el lote efectivo $B$ y los tokens por paso del optimizador $T$ con una longitud de secuencia $L$ son

Cada réplica de paralelismo de datos procesa su propio microlote y los gradientes se promedian, de modo que las réplicas multiplican el lote. La acumulación suma $a$ pasadas sucesivas antes de una actualización, multiplicándolo de nuevo. El recuento de tokens es simplemente el número de secuencias por la longitud de cada secuencia.

Ejemplo resuelto

Tómese un microlote de 8 secuencias en cada uno de 64 dispositivos, con 4 pasos de acumulación y un contexto de 4.096 tokens:

El optimizador ve 2.048 secuencias —unos 8,4 millones de tokens— por actualización, aunque ningún dispositivo individual mantenga nunca más de 8 secuencias a la vez. Duplicar los pasos de acumulación a 8 elevaría el lote efectivo a 4.096 sin ningún cambio en la memoria por dispositivo, a costa del doble de pasadas entre actualizaciones.

Límites

Este modelo cubre la replicación de paralelismo de datos y la acumulación de gradiente, los dos factores que cambian el lote global. Ignora deliberadamente el paralelismo de tensores, de canalización y de secuencia: estos reparten un único modelo o secuencia entre dispositivos para que quepa en memoria, pero no amplían el lote global, de modo que los dispositivos entre los que se reparte una réplica no deben contarse en $d$. La cifra de tokens también supone una longitud de secuencia fija; los lotes de longitud variable o empaquetados necesitan una contabilidad de tokens aparte. El lado de la memoria al elegir el microlote lo cubre la calculadora de Calculadora de memoria de acumulación de gradientes, y cómo escala el rendimiento al añadir dispositivos la calculadora de Calculadora de escalado de paralelismo de datos.