LLMファインチューニング費用の計算
入力
| データセットのサイズ | 10 |
|---|---|
| エポック数 | 3 |
| 百万トークンあたりの単価 | 8 ドル |
LLMファインチューニング費用の計算
データセットのサイズ（百万トークン単位）、エポック数、提供事業者の百万学習トークンあたりの単価から、マネージドなLLMファインチューニングジョブの費用を概算します。
入力
ファインチューニングジョブ
結果
値を入力すると計算結果が表示されます。
詳細
LLMファインチューニング費用
マネージドなファインチューニングAPIは実行された作業量に対して課金し、その作業量は学習中にモデルが読み込むトークン数にほかなりません。このトークン数はデータセットのサイズにそれを通すパス回数を掛けた値なので、ファインチューニングジョブの費用はジョブを始める前に読み取れます。この計算機は、データセットのサイズ（百万トークン単位）、エポック数、提供事業者の百万学習トークンあたりの単価から、その費用を概算します。
ファインチューニングの課金方法
マネージドなファインチューニングサービスは、背後のハードウェアを露出させる代わりに、学習中に処理したトークン数に対して課金します。1エポックはデータセット内のすべてのトークンを一度読み込み、複数エポックを実行するとその回数だけデータセット全体を読み込みます。したがって課金されるトークンの総数はデータセットのサイズにエポック数を掛けた値であり、請求額はその総数に事業者が提示するトークンあたりの料率を掛けた値です。これにより、GPUの種類やバッチサイズ、ジョブの実行時間を知らなくても、データセットだけから費用を見通せます。
計算式
百万トークンのデータセット、 エポック、百万トークンあたりの単価 とすると、処理した総トークン数 と総費用 は次のようになります。
MC=D⋅e=M⋅pほとんどの事業者が百万トークンを単位として料金を提示するため、データセットのサイズも単価も百万トークンあたりで表します。費用はすべての入力に対して線形です。データセットを2倍にしても、エポックを2倍にしても、料率を2倍にしても、それぞれ請求額が2倍になります。
計算例
1,000万トークンのデータセットを3エポック、百万トークンあたり$8.00の料率で学習する場合を考えます。
MC=10×3=30 million tokens=30×8.00=240.00このジョブは3,000万トークンを処理し、費用は$240です。2エポックに減らすと2,000万トークンを処理して$160になり、3エポックのまま料率$4.00のモデルを使うと請求額は半分の$120になります。トークン数は価格帯をまたいでも同じなので、ベースモデルや学習手法の選択は百万トークンあたりの単価にすべて表れます。
限界
この見積もりは、選んだエポックにわたるデータセットの学習トークンのみを数えます。事業者が別途課金する検証トークン、データの準備やクリーニングの費用、生成されたモデルをホスティングする費用は除外しています。全重みを更新する完全なファインチューニングは、低ランク適応のようなアダプタ手法よりも通常は高く設定されるため、入力する料率は実際に選んだ手法に合わせてください。マネージドAPIではなく借りたハードウェア上で実行するジョブでは、請求はトークンではなくGPU時間に従います。生成したモデルを使う際のトークン単位の経済性はトークンコスト計算で、自前で管理する学習のレンタル面はGPU クラウド費用を計算で扱います。
よくある質問 (FAQ)
ファインチューニングジョブの費用は何で決まりますか？
請求額は処理したトークン数に百万トークンあたりの単価を掛けた値で、処理トークン数はデータセットのサイズにエポック数を掛けた値です。データセットを大きくしても、パスを増やしても、トークン数は線形に増えます。
トークンあたりの料率はベースモデルに依存し、大きいモデルほどトークンあたりの単価が高くなります。また学習手法にも依存し、全重みを更新する完全なファインチューニングは、ごく一部のパラメータのみを学習するアダプタ手法よりも通常は高く設定されます。検証トークンが課金される場合は総額に加わります。
ファインチューニングが時間単位ではなくトークン単位で課金されるのはなぜですか？
マネージドなファインチューニングAPIはハードウェアを隠蔽し、実行された作業に対して課金します。その作業量は学習中にモデルが読み込むトークン数に比例します。トークン単位の課金により、GPUの種類やバッチサイズ、実時間を知らなくても、データセットだけから費用を見通せます。一方、借りたハードウェア上で実行する場合は、請求はトークンではなくGPU時間に従い、関係する数値はクラスタの規模と実行時間になります。
完全なファインチューニングはアダプタ手法より高くなりますか？
たいていの場合は高くなります。完全なファインチューニングは全パラメータを更新し、そのすべてのオプティマイザ状態を保持する必要があるため、低ランクアダプタのようなパラメータ効率の高い手法よりもトークンあたりの単価が高く設定されます。アダプタ手法は追加した少数の重みのみを学習し、残りは固定します。生成される成果物もはるかに小さく、ホスティングが容易です。
所定のデータセットとエポック予算における処理トークン数は同じなので、その差はここで入力する百万トークンあたりの単価にすべて表れます。
免責事項
この見積もりは、選んだエポック数にわたってデータセットをトークン単位で課金することを前提とし、検証トークン、データ準備、生成されたモデルのホスティングを（それらが百万トークンあたりの単価に含まれない限り）除外した参考情報です。提供事業者の価格設定やトークンの数え方は異なるため、予算を組む前に事業者へ料率を確認してください。