Coût d'un réglage fin de modèle
Données
| Taille du jeu de données | 10 |
|---|---|
| Époques | 3 |
| Tarif par million de jetons | 8 $ |
Coût d'un réglage fin de modèle
Estimez le coût d'un réglage fin (fine-tuning) de grand modèle de langage à partir de la taille du jeu de données en millions de jetons, du nombre d'époques et du tarif par million de jetons d'entraînement.
Données
Tâche de réglage fin
Résultats
Saisissez une valeur pour afficher les résultats.
Détails
Le coût d'un réglage fin de modèle
Les interfaces de réglage fin géré facturent le travail effectué, c'est-à-dire simplement le nombre de jetons d'entraînement que le modèle lit. Comme ce nombre est la taille du jeu de données multipliée par le nombre de passages, le coût d'un réglage fin se lit avant même le lancement de la tâche. Ce calcul l'estime à partir de la taille du jeu de données en millions de jetons, du nombre d'époques et du tarif du fournisseur par million de jetons d'entraînement.
Comment le réglage fin est facturé
Plutôt que d'exposer le matériel sous-jacent, un service de réglage fin géré facture les jetons traités pendant l'entraînement. Une époque lit chaque jeton du jeu de données une fois ; plusieurs époques relisent l'ensemble du jeu de données autant de fois. Le total de jetons facturés vaut donc la taille du jeu de données multipliée par le nombre d'époques, et la facture est ce total multiplié par le tarif unitaire annoncé par le fournisseur. Le coût devient ainsi prévisible à partir du seul jeu de données, sans connaître le type de processeur graphique, la taille des lots ni la durée de la tâche.
La formule
Pour un jeu de données de millions de jetons, époques et un tarif par million de jetons, le total de jetons traités et le coût total valent
MC=D⋅e=M⋅pLa taille du jeu de données comme le tarif s'expriment par million de jetons, l'unité que la plupart des fournisseurs annoncent. Le coût est linéaire en chaque entrée : doubler le jeu de données, doubler les époques ou doubler le tarif double à chaque fois la facture.
Exemple chiffré
Soit un jeu de données de 10 millions de jetons entraîné sur 3 époques à un tarif de 8,00 par million de jetons :
MC=10×3=30 millions de jetons=30×8.00=240.00La tâche traite 30 millions de jetons et coûte 240. Se limiter à deux époques traiterait 20 millions de jetons pour un coût de 160, tandis que conserver trois époques en passant à un modèle facturé 4,00 réduirait de moitié la facture, à 120. Comme le nombre de jetons reste identique d'un palier de tarif à l'autre, le choix du modèle de base et de la méthode d'entraînement se reporte entièrement sur le tarif par million.
Limites
L'estimation ne compte que les jetons d'entraînement du jeu de données sur les époques choisies. Elle exclut les jetons de validation lorsque le fournisseur les facture séparément, le coût de préparation et de nettoyage des données, ainsi que tout frais d'hébergement du modèle obtenu. Le réglage fin complet, qui met à jour chaque poids, est généralement facturé au-dessus des méthodes par adaptateur comme l'adaptation de faible rang : le tarif saisi doit donc correspondre à la méthode réellement retenue. Pour les tâches menées sur du matériel loué plutôt que via une interface gérée, la facture suit les heures-machine et non les jetons. L'économie au jeton de l'utilisation du modèle obtenu est traitée par le Calculateur de coût en jetons, et la part de location d'un entraînement autogéré par le Calculateur de coût GPU cloud.
Questions fréquentes (FAQ)
Qu'est-ce qui détermine le coût d'un réglage fin ?
La facture correspond au nombre de jetons traités multiplié par le tarif par million, et les jetons traités sont la taille du jeu de données multipliée par le nombre d'époques. Un jeu de données plus volumineux comme un plus grand nombre de passages augmentent ce total de façon linéaire.
Le tarif unitaire dépend du modèle de base — les grands modèles coûtent plus cher par jeton — et de la méthode d'entraînement, le réglage fin complet qui met à jour chaque poids étant en général facturé au-dessus des méthodes par adaptateur, qui n'entraînent qu'une faible partie des paramètres. Les jetons de validation, s'ils sont facturés, s'ajoutent au total.
Pourquoi le réglage fin est-il facturé au jeton plutôt qu’à l’heure ?
Les interfaces de réglage fin géré masquent le matériel et facturent le travail effectué, lequel est proportionnel aux jetons que le modèle lit pendant l'entraînement. La tarification au jeton rend le coût prévisible à partir du seul jeu de données, sans connaître le type de processeur graphique, la taille des lots ni la durée d'exécution.
Lorsque le travail est mené sur du matériel loué, la facture suit en revanche les heures-machine plutôt que les jetons, et les grandeurs pertinentes deviennent la taille du cluster et la durée de la session.
Le réglage fin complet coûte-t-il plus cher que les méthodes par adaptateur ?
En général oui. Le réglage fin complet met à jour chaque paramètre et impose de stocker l'état de l'optimiseur pour chacun d'eux ; les fournisseurs le facturent donc plus cher par jeton que les méthodes économes en paramètres comme les adaptateurs de faible rang (LoRA), qui n'entraînent qu'un petit ensemble de poids ajoutés et figent le reste. Les méthodes par adaptateur produisent par ailleurs des artefacts bien plus légers à héberger.
Le nombre de jetons traités reste identique pour un jeu de données et un budget d'époques donnés ; l'écart se reporte donc entièrement sur le tarif par million de jetons saisi ici.
Mentions légales
Cette estimation suppose une facturation au jeton du jeu de données sur le nombre d'époques choisi et exclut les jetons de validation, la préparation des données et l'hébergement du modèle obtenu, sauf si ces postes sont intégrés au tarif par million. La tarification et le décompte des jetons varient selon les fournisseurs ; vérifiez les tarifs auprès du fournisseur avant d'établir un budget.