Époques tenant dans un budget de calcul
Données
| Budget de calcul | 6 000 |
|---|---|
| Paramètres | 70 |
| Jetons du jeu de données | 300 |
Époques tenant dans un budget de calcul
Déterminez combien d'époques un budget de calcul d'entraînement permet : convertissez les PFLOP/s-jours en jetons entraînables avec la règle 6N, puis divisez par la taille du jeu de données en jetons.
Données
Budget
Résultats
Saisissez une valeur pour afficher les résultats.
Les époques à partir d'un budget de calcul
Un budget de calcul fixe et un jeu de données fixe déterminent ensemble combien de fois un modèle peut lire ses données. Planifier un entraînement revient souvent à cette question : pour une allocation de tant de PFLOP/s-jours, un modèle de taille connue et un jeu de données d'un nombre de jetons connu, combien d'époques sont abordables ? Ce calcul y répond en convertissant le budget en jetons entraînables avec le modèle de coût standard, puis en divisant par la taille du jeu de données.
Calcul, jetons et époques
Le calcul d'entraînement s'alloue couramment en PFLOP/s-jours — un pétaflop par seconde soutenu pendant une journée. Le coût dominant d'une étape d'entraînement est bien approché par six opérations en virgule flottante par paramètre et par jeton : deux pour la passe avant et environ quatre pour la passe arrière. Cette règle convertit directement un budget de calcul en nombre de jetons, puisque le budget en opérations divisé par le coût par jeton est le nombre de jetons que le budget permet d'entraîner. Diviser ces jetons entraînables par la taille du jeu de données donne le nombre de passages complets, ou époques.
La formule
Soit le budget en PFLOP/s-jours, les paramètres en milliards et le jeu de données en milliards de jetons. Un PFLOP/s-jour vaut opérations, et milliards de paramètres représentent au tarif de six opérations ; les jetons entraînables (milliards) et les époques valent donc
Be=6⋅N⋅1018C⋅8.64×1019=DBExemple chiffré
Soit un budget de 6 000 PFLOP/s-jours pour un modèle de 70 milliards de paramètres et un jeu de données de 300 milliards de jetons :
Be=6⋅70⋅10186000⋅8.64×1019≈1234.3 milliards de jetons=3001234.3≈4.11 eˊpoquesLe budget finance environ 1,23 billion de jetons entraînables, soit à peu près quatre passages complets sur le jeu de données de 300 milliards de jetons. Un résultat aussi nettement au-dessus de un signale que le jeu de données est petit au regard du calcul disponible.
Lire le résultat
Un nombre d'époques proche de un signifie que le budget correspond à un seul passage sur les données, le régime que les recettes optimales en calcul pour les grands modèles tendent à privilégier. Un nombre nettement supérieur à un indique un calcul suffisant pour répéter les données plusieurs fois ; comme des jetons inédits sont plus instructifs que des jetons répétés, cela plaide souvent pour rassembler davantage de données uniques plutôt que de recycler le même corpus. Un nombre inférieur à un signifie que le budget ne finance même pas un passage unique, auquel cas un modèle plus petit, un sous-ensemble de données plus restreint ou davantage de calcul s'imposent. L'appariement de la taille de modèle et du nombre de jetons pour un budget fait l'objet du Taille de modèle optimale en calcul.
Limites
L'estimation applique l'approximation de six opérations par paramètre et par jeton et suppose que tout le budget sert à un entraînement utile. Les entraînements réels ne soutiennent qu'une fraction du débit crête, perdent du temps en communication et en surcoût de pipeline, et dépensent du calcul en évaluation et en redémarrages : le nombre d'époques réalisable est donc inférieur à cette borne supérieure. La cible de jetons optimale en calcul pour une taille de modèle donnée, à l'aune de laquelle juger l'adéquation d'un jeu de données, est fournie par le Tokens optimaux selon Chinchilla.
Questions fréquentes (FAQ)
Comment le nombre d'époques se déduit-il d'un budget de calcul ?
Un budget de calcul en PFLOP/s-jours est d'abord converti en opérations brutes en virgule flottante : un PFLOP/s-jour vaut 8,64 × 10^19 opérations. Le modèle de coût standard impute environ six opérations par paramètre et par jeton pour une étape complète d'entraînement, de sorte que diviser le budget par six fois le nombre de paramètres donne les jetons qu'il permet d'entraîner.
Diviser ces jetons entraînables par la taille du jeu de données fournit le nombre de passages complets — les époques — que le budget peut financer.
Vaut-il mieux entraîner sur plus d'une époque ?
Les recettes optimales en calcul pour les grands modèles privilégient un passage unique sur un jeu de données très vaste et presque entièrement unique, car des jetons inédits sont plus instructifs que des jetons répétés. Lorsque les données sont limitées, les répéter sur quelques époques peut tout de même améliorer un modèle, avec des rendements qui décroissent à mesure que les mêmes jetons sont revus.
Si le calcul indique de nombreuses époques abordables, cela signale généralement que le jeu de données est petit au regard du budget et que rassembler davantage de données uniques exploiterait le calcul plus efficacement que de répéter l'existant.
Que signifie un nombre d'époques inférieur à un ?
Une valeur inférieure à un signifie que le budget ne peut pas financer un seul passage complet sur le jeu de données pour la taille de modèle choisie. Les réponses concrètes consistent à réduire la taille du modèle, puisque le coût croît avec le nombre de paramètres, à utiliser un sous-ensemble plus restreint des données, ou à augmenter le budget de calcul.
La taille de modèle optimale en calcul pour un budget donné est une question distincte, traitée par le calcul de taille de modèle associé.
Mentions légales
Ce calcul applique l'approximation standard de 6N FLOP par jeton et néglige les surcoûts tels qu'un taux d'utilisation inférieur au pic, les termes d'attention et l'évaluation. Les entraînements réels n'atteignent qu'une fraction du débit crête ; le nombre d'époques est donc à considérer comme une borne supérieure de planification.