파인튜닝 비용 계산
입력
| 데이터셋 크기 | 10 |
|---|---|
| 에폭 수 | 3 |
| 백만 토큰당 가격 | 8 $ |
파인튜닝 비용 계산
데이터셋 크기(백만 토큰 단위), 에폭 수, 제공업체의 백만 학습 토큰당 가격으로부터 관리형 LLM 파인튜닝 작업의 비용을 추정합니다.
입력
파인튜닝 작업
결과
값을 입력하면 계산 결과가 표시됩니다.
세부 정보
파인튜닝 비용
관리형 파인튜닝 API는 수행 작업량, 곧 모델이 읽는 학습 토큰 수로 요금을 매깁니다. 그 수는 데이터셋 크기에 통과 횟수를 곱한 값이므로, 파인튜닝 작업의 비용은 작업이 시작되기 전에 미리 읽어낼 수 있습니다. 이 계산기는 데이터셋 크기(백만 토큰 단위), 에폭 수, 제공업체의 백만 학습 토큰당 가격으로부터 그 비용을 추정합니다.
파인튜닝의 청구 방식
관리형 파인튜닝 서비스는 기반 하드웨어를 드러내는 대신 학습 중 처리한 토큰에 요금을 매깁니다. 1 에폭은 데이터셋의 모든 토큰을 한 번 읽고, 여러 에폭을 돌리면 데이터셋 전체를 그만큼 여러 번 읽습니다. 따라서 청구되는 전체 토큰은 데이터셋 크기에 에폭 수를 곱한 값이고, 청구액은 그 총량에 제공업체가 제시하는 토큰당 요금을 곱한 값입니다. 덕분에 GPU 종류, 배치 크기, 작업 소요 시간을 몰라도 데이터셋만으로 비용을 예측할 수 있습니다.
계산식
데이터셋이 백만 토큰, 에폭이 회, 백만 토큰당 가격이 일 때 처리한 전체 토큰 과 전체 비용 는 다음과 같습니다.
MC=D⋅e=M⋅p데이터셋 크기와 가격은 대부분의 제공업체가 그 단위로 제시하므로 둘 다 백만 토큰 단위로 표현합니다. 비용은 모든 입력에 선형이어서 데이터셋을 두 배로, 에폭을 두 배로, 요금을 두 배로 늘리면 각각 청구액이 두 배가 됩니다.
계산 예시
천만 토큰 데이터셋을 백만 토큰당 8.00에 3 에폭 동안 학습하는 경우를 살펴봅니다.
MC=10×3=30 million tokens=30×8.00=240.00이 작업은 3천만 토큰을 처리하며 240의 비용이 듭니다. 2 에폭으로 줄이면 2천만 토큰을 처리해 160이 들고, 3 에폭을 유지하되 요금이 4.00인 모델을 쓰면 청구액이 120으로 절반이 됩니다. 가격 등급이 달라도 토큰 수는 같으므로, 기반 모델과 학습 방식의 선택은 전적으로 백만 토큰당 요금에 나타납니다.
한계
이 추정값은 선택한 에폭에 걸쳐 데이터셋의 학습 토큰만 셉니다. 제공업체가 별도로 청구하는 경우의 검증 토큰, 데이터를 준비하고 정제하는 비용, 결과 모델을 호스팅하는 요금은 제외합니다. 모든 가중치를 갱신하는 전체 파인튜닝은 저랭크 적응 같은 어댑터 방식보다 보통 비싸게 책정되므로, 입력하는 요금은 실제로 선택한 방식에 맞춰야 합니다. 관리형 API가 아니라 임대 하드웨어에서 돌리는 작업은 청구액이 토큰이 아니라 GPU 시간을 따릅니다. 결과 모델을 사용할 때의 토큰당 경제성은 토큰 비용 계산기가 다루고, 자체 관리 학습의 임대 쪽은 GPU 클라우드 비용 계산기가 다룹니다.
자주 묻는 질문 (FAQ)
파인튜닝 작업의 비용을 좌우하는 것은 무엇입니까?
청구액은 처리한 토큰 수에 백만 토큰당 가격을 곱한 값이고, 처리한 토큰은 데이터셋 크기에 에폭 수를 곱한 값입니다. 데이터셋이 크거나 통과 횟수가 많으면 둘 다 토큰 수를 선형으로 늘립니다.
토큰당 요금은 기반 모델에 따라 달라지는데, 큰 모델일수록 토큰당 비용이 높습니다. 학습 방식도 영향을 주는데, 모든 가중치를 갱신하는 전체 파인튜닝은 파라미터의 일부만 학습하는 어댑터 방식보다 보통 더 비싸게 책정됩니다. 검증 토큰을 청구하는 경우 그것도 총액에 더해집니다.
파인튜닝은 왜 시간당이 아니라 토큰당으로 가격을 매깁니까?
관리형 파인튜닝 API는 하드웨어를 감추고, 학습 중 모델이 읽는 토큰에 비례하는 수행 작업량에 요금을 매깁니다. 토큰당 가격은 GPU 종류, 배치 크기, 벽시계 시간을 몰라도 데이터셋만으로 비용을 예측 가능하게 만듭니다. 대신 임대 하드웨어에서 작업을 돌리면 청구액은 토큰이 아니라 GPU 시간을 따르며, 이때 중요한 값은 클러스터 크기와 학습 소요 시간입니다.
전체 파인튜닝이 어댑터 방식보다 비쌉니까?
대체로 그렇습니다. 전체 파인튜닝은 모든 파라미터를 갱신하고 그 전부에 대한 옵티마이저 상태를 저장해야 하므로, 추가한 작은 가중치 집합만 학습하고 나머지는 고정하는 저랭크 어댑터 같은 파라미터 효율 방식보다 토큰당 가격이 높게 책정됩니다. 어댑터 방식은 호스팅할 산출물도 훨씬 작습니다.
주어진 데이터셋과 에폭 예산에서 처리하는 토큰 수는 같으므로, 차이는 전적으로 여기 입력하는 백만 토큰당 요금에 나타납니다.
면책조항
이 추정값은 선택한 에폭 수만큼 데이터셋을 토큰당으로 청구한다고 가정하며, 백만 토큰당 요금에 포함되지 않는 한 검증 토큰, 데이터 준비, 결과 모델의 호스팅은 제외합니다. 제공업체의 가격과 토큰 산정 방식은 다양하므로 예산을 잡기 전에 제공업체에 요금을 확인하십시오.