Calculadora de épocas a partir del presupuesto de cómputo
Datos de entrada
| Presupuesto de cómputo | 6.000 |
|---|---|
| Parámetros | 70 |
| Tokens del conjunto de datos | 300 |
Calculadora de épocas a partir del presupuesto de cómputo
Calcula cuántas épocas permite un presupuesto de cómputo de entrenamiento: convierte los PFLOP/s-días en tokens entrenables con la regla 6N y divide por el tamaño del conjunto de datos en tokens.
Datos de entrada
Presupuesto
Resultados
Introduce un valor para ver los resultados.
Épocas a partir del presupuesto de cómputo
Un presupuesto de cómputo fijo y un conjunto de datos fijo determinan juntos cuántas veces puede un modelo leer sus datos. Planificar una ejecución de entrenamiento se reduce a menudo a esa pregunta: dada cierta asignación de PFLOP/s-días, un modelo de tamaño conocido y un conjunto de datos con un número de tokens conocido, ¿cuántas épocas resultan asequibles? Esta calculadora la responde convirtiendo el presupuesto en tokens entrenables con el modelo de coste estándar y dividiendo entre el tamaño del conjunto de datos.
Cómputo, tokens y épocas
El cómputo de entrenamiento suele asignarse en PFLOP/s-días: un petaflop por segundo sostenido durante un día. El coste dominante de un paso de entrenamiento se aproxima bien con seis operaciones en coma flotante por parámetro y por token: dos para la pasada hacia delante y unas cuatro para la pasada hacia atrás. Esa regla convierte un presupuesto de cómputo directamente en un número de tokens, porque el presupuesto en operaciones dividido entre el coste por token es el número de tokens con los que puede entrenar. Dividir esos tokens entrenables entre el tamaño del conjunto de datos da el número de pasadas completas, o épocas.
La fórmula
Sea el presupuesto en PFLOP/s-días, los parámetros en miles de millones y el conjunto de datos en miles de millones de tokens. Un PFLOP/s-día equivale a operaciones, y mil millones de parámetros son a razón de seis operaciones, de modo que los tokens entrenables (miles de millones) y las épocas son
Be=6⋅N⋅1018C⋅8.64×1019=DBEjemplo resuelto
Tómese un presupuesto de 6.000 PFLOP/s-días para un modelo de 70 mil millones de parámetros y un conjunto de datos de 300 mil millones de tokens:
Be=6⋅70⋅10186000⋅8.64×1019≈1234.3 mil millones de tokens=3001234.3≈4.11 eˊpocasEl presupuesto costea unos 1,23 billones de tokens entrenables, lo que equivale aproximadamente a cuatro pasadas completas sobre el conjunto de datos de 300 mil millones de tokens. Un resultado tan por encima de uno es señal de que el conjunto de datos es pequeño en relación con el cómputo disponible.
Lectura del resultado
Un número de épocas cercano a uno significa que el presupuesto está ajustado a una sola pasada sobre los datos, el régimen que tienden a favorecer las recetas de cómputo óptimo para modelos grandes. Un valor muy por encima de uno significa que hay cómputo suficiente para repetir los datos varias veces; como los tokens nuevos son más informativos que los repetidos, esto suele aconsejar reunir más datos únicos en lugar de recorrer el mismo corpus. Un valor inferior a uno significa que el presupuesto no costea ni una sola pasada, en cuyo caso se necesita un modelo más pequeño, un subconjunto menor de datos o más cómputo. El emparejamiento ajustado de tamaño de modelo y número de tokens para un presupuesto es el objeto de la calculadora de Calculadora de tamaño de modelo de cómputo óptimo.
Límites
La estimación usa la aproximación de seis operaciones por parámetro y por token y supone que todo el presupuesto se dedica a entrenamiento útil. Las ejecuciones reales solo sostienen una fracción del rendimiento máximo, pierden tiempo en comunicación y en sobrecarga de la canalización, y gastan cómputo en evaluación y reinicios, de modo que el número de épocas alcanzable es menor que esta cota superior. El objetivo de tokens de cómputo óptimo para un tamaño de modelo dado, frente al cual puede juzgarse adecuado un conjunto de datos, lo da la calculadora de Calculadora de tokens óptimos de Chinchilla.
Preguntas frecuentes (FAQ)
¿Cómo se deriva el número de épocas a partir de un presupuesto de cómputo?
Un presupuesto de cómputo en PFLOP/s-días se convierte primero en operaciones en coma flotante brutas: un PFLOP/s-día son 8,64 × 10¹⁹ operaciones. El modelo de coste estándar imputa unas seis operaciones por parámetro y por token para un paso de entrenamiento completo, de modo que dividir el presupuesto entre seis veces el número de parámetros da los tokens con los que puede entrenar.
Dividir esos tokens entrenables entre el tamaño del conjunto de datos da el número de pasadas completas —las épocas— que permite el presupuesto.
¿Conviene entrenar durante más de una época?
Las recetas de cómputo óptimo para modelos grandes favorecen una sola pasada sobre un conjunto de datos muy grande y mayormente único, porque los tokens nuevos son más informativos que los repetidos. Cuando los datos son limitados, repetirlos durante unas pocas épocas puede aun así mejorar un modelo, con rendimientos que disminuyen a medida que se ven de nuevo los mismos tokens.
Si la calculadora reporta muchas épocas asequibles, suele indicar que el conjunto de datos es pequeño para el presupuesto y que reunir más datos únicos aprovecharía el cómputo de forma más eficaz que repetir lo existente.
¿Qué significa un número de épocas inferior a uno?
Un valor inferior a uno significa que el presupuesto no puede costear ni una sola pasada completa sobre el conjunto de datos con el tamaño de modelo elegido. Las respuestas prácticas son reducir el tamaño del modelo, ya que el coste escala con el número de parámetros, usar un subconjunto menor de los datos o aumentar el presupuesto de cómputo.
El tamaño de modelo de cómputo óptimo para un presupuesto dado es una cuestión aparte que aborda la calculadora de tamaño de modelo relacionada.
Aviso legal
Esta calculadora usa la aproximación estándar de 6N FLOPs por token e ignora sobrecargas como el aprovechamiento por debajo del pico, los términos de atención y la evaluación. Las ejecuciones reales alcanzan una fracción del rendimiento máximo, de modo que conviene tomar el número de épocas como una cifra de planificación de cota superior.