Calcul des FLOP d'entraînement
Données
| Type de passe | Étape d'entraînement (6ND) |
|---|---|
| Paramètres | 70 |
| Jetons d'entraînement | 1 400 |
Calcul des FLOP d'entraînement
Estimer le nombre d'opérations en virgule flottante nécessaires à l'entraînement d'un transformeur avec la règle des 6ND, à partir du nombre de paramètres et de jetons, exprimé en FLOP totaux et en petaFLOP/s-jours.
Données
Modèle et données
Résultats
Saisissez une valeur pour afficher les résultats.
Détails
FLOP d'entraînement
Le calcul nécessaire à l'entraînement d'un grand modèle de langage se résume largement à une seule grandeur : le nombre d'opérations en virgule flottante effectuées sur l'ensemble de l'exécution. Pour les transformeurs denses, ce nombre est bien approché par la règle des 6ND, selon laquelle l'entraînement coûte environ six opérations par paramètre et par jeton traité. Ce calculateur applique cette règle : à partir d'un nombre de paramètres et d'un nombre de jetons, il renvoie le compte brut d'opérations ainsi que son équivalent en petaFLOP/s-jours.
La règle des 6ND
Une passe avant de transformeur effectue environ deux opérations en virgule flottante par paramètre et par jeton — une multiplication et une addition dans les multiplications matricielles qui dominent le travail. L'entraînement ajoute une passe arrière, qui propage les gradients vers les activations et les poids et coûte à peu près le double de la passe avant. Ensemble, les passes avant et arrière atteignent donc environ six opérations par paramètre et par jeton. Avec paramètres et jetons d'entraînement, le total avoisine ainsi . L'estimation rend compte des couches linéaires dominantes et néglige les contributions plus faibles de l'attention, des plongements et de la normalisation, négligeables pour les grands modèles.
La formule
Avec le facteur de passe (six pour une étape d'entraînement, deux pour une passe avant seule), le nombre de paramètres en milliards et le nombre de jetons en milliards, le compte total d'opérations et le calcul en petaFLOP/s-jours valent
CP=k⋅N⋅D⋅1018=8.64×1019Coù désigne les FLOP totaux et le calcul en petaFLOP/s-jours. Le facteur ramène les milliards de et de à des comptes absolus. Un petaFLOP/s-jour correspond à un petaFLOP/s soutenu pendant une journée, soit opérations ; diviser par cette valeur convertit un compte brut de FLOP dans l'unité utilisée pour rapporter les grands entraînements.
Exemple chiffré
Soit un modèle de 70 milliards de paramètres entraîné sur 1 400 milliards de jetons, un rapport jetons/paramètres de vingt conforme à la pratique optimale en calcul :
CP=6×70×1400×1018=5.88×1023 FLOPs=8.64×10195.88×1023≈6805.6 PFLOP/s-joursL'exécution demande environ opérations, soit à peu près 6 806 petaFLOP/s-jours. En réglant le facteur de passe sur deux, on obtient le coût de la seule passe avant, un tiers du total d'entraînement.
Limites
La règle des 6ND est un décompte idéalisé d'arithmétique, et non une prévision du temps réel ou du coût. Le matériel ne soutient qu'une fraction de son débit de pointe, si bien que la durée effective découle de la division de ce calcul par le débit atteint plutôt que par le débit annoncé — un écart capté par le Calculateur d'utilisation des FLOP du modèle (MFU). L'estimation néglige aussi le recalcul des activations, les étapes de l'optimiseur, les passes d'évaluation et les exécutions interrompues puis relancées, qui s'ajoutent toutes au calcul réellement dépensé. La question complémentaire du nombre de jetons qu'un modèle d'une taille donnée devrait voir est traitée par le Tokens optimaux selon Chinchilla, et la conversion de ce calcul en budget de location par le Calculateur de coût GPU cloud.
Questions fréquentes (FAQ)
Que représente la règle des 6ND ?
La règle des 6ND estime que l'entraînement d'un transformeur dense demande environ six opérations en virgule flottante pour chaque paramètre et chaque jeton, où N désigne le nombre de paramètres et D le nombre de jetons. Le facteur six provient d'environ deux opérations par paramètre pour la passe avant et d'environ quatre pour la passe arrière qui calcule les gradients.
Il s'agit d'une approximation au premier ordre issue des travaux sur les lois d'échelle ; elle rend compte des multiplications matricielles dominantes et néglige les termes plus petits comme l'attention et les plongements.
Comment convertir des FLOP totaux en petaFLOP/s-jours ?
Un petaFLOP/s-jour correspond au calcul produit en soutenant un petaFLOP/s pendant une journée entière, soit 8,64 × 10¹⁹ opérations en virgule flottante (10¹⁵ opérations par seconde multipliées par 86 400 secondes).
Diviser un nombre total de FLOP par cette valeur le convertit en petaFLOP/s-jours, l'unité dans laquelle les grands entraînements sont habituellement rapportés, car les comptes bruts de FLOP atteignent des ordres de grandeur difficiles à manier.
Que comprend et que néglige cette estimation ?
L'estimation compte les opérations en virgule flottante des couches linéaires dominantes, sur les passes avant et arrière, pour le nombre de jetons indiqué. Elle ne tient pas compte du taux d'utilisation du matériel : le temps réel et le coût d'une exécution concrète dépassent donc ce que suggère le calcul idéal.
Elle néglige aussi le recalcul des activations, le surcoût de l'optimiseur, les passes d'évaluation, ainsi que les exécutions interrompues ou relancées, qui s'ajoutent toutes au calcul réellement dépensé.
Mentions légales
Ce calcul applique l'approximation au premier ordre des 6ND pour les transformeurs denses et ne compte que le calcul idéal. Le temps d'entraînement et le coût réels dépendent du taux d'utilisation du matériel, bien inférieur au pic, et des surcoûts que la formule néglige. Le résultat est une estimation de planification, non une comptabilité exacte.