임베딩 비용 계산기
입력
| 문서 수 | 500 |
|---|---|
| 문서당 토큰 수 | 1,000 |
| 단가 (100만 토큰당) | 0.13 $ |
임베딩 비용 계산기
문서 수, 문서당 토큰 수, 임베딩 모델의 100만 토큰당 단가로부터 검색용 문서 코퍼스를 임베딩하는 일회성 비용을 추정합니다.
입력
코퍼스
단가
결과
값을 입력하면 계산 결과가 표시됩니다.
세부 정보
임베딩 비용의 정의
임베딩 비용은 텍스트 본문을 임베딩 모델로 벡터로 변환하는 데 드는 비용입니다. 검색 시스템이 문서 모음에 대한 질문에 답하려면 먼저 모든 문서를 임베딩으로 바꿔야 합니다. 임베딩이란 문서의 의미를 담아내는 고정 길이의 숫자 나열입니다. 임베딩 API는 이 작업을 토큰 단위로 측정하고 공개된 100만 토큰당 단가로 청구하므로, 코퍼스를 준비하는 비용은 문서가 몇 건인지와 문서 하나가 얼마나 긴지에 따라 정해집니다.
임베딩 과금 방식
임베딩 모델은 텍스트를 읽고 입력 하나당 벡터 하나를 반환합니다. 제공업체는 입력 토큰을 세고 — 텍스트 생성에 쓰이는 토큰과 같은 종류로, 영어 기준 토큰 하나는 대략 네 글자입니다 — 토큰당 단가를 부과합니다. 토큰 하나의 비용은 화폐 단위의 아주 작은 일부에 불과하므로 단가는 100만 토큰당으로 표시됩니다. 임베딩 모델은 순전파를 한 번만 수행하고 생성 출력을 내지 않기 때문에, 일반적으로 생성 모델보다 토큰당 단가가 훨씬 저렴합니다.
이 비용은 문서당 한 번만 부과됩니다. 문서의 벡터가 벡터 데이터베이스에 한 번 저장되면, 내용이 바뀌거나 임베딩 모델을 교체하지 않는 한 다시 임베딩할 필요가 없습니다. 서로 다른 모델의 벡터는 호환되지 않으므로, 모델을 바꾼다는 것은 코퍼스 전체를 다시 임베딩한다는 뜻입니다.
계산식
건의 문서로 이루어진 코퍼스에서 각 문서가 평균 토큰이라면, 전체 토큰 수는 다음과 같습니다.
T=ndoc⋅tdoc그리고 100만 토큰당 의 단가로 코퍼스를 임베딩하는 비용은 다음과 같습니다.
C=106T⋅p으로 나누는 과정은 100만 토큰당 단가를 토큰당 단가로 환산한 뒤 토큰 수를 곱하기 위한 것입니다.
예시 계산
지식 베이스에 개의 구절이 들어 있고 각 구절이 평균 토큰이며, 100만 토큰당 $0.13인 모델로 임베딩한다고 가정하겠습니다. 전체 토큰 수는 다음과 같습니다.
T=1,800×740=1,332,000 tokens그리고 임베딩 비용은 다음과 같습니다.
C=1061,332,000×0.13=1.332×0.13≈0.17따라서 코퍼스 전체를 임베딩하는 비용은 약 17센트이며, 인덱스를 구축할 때 한 번만 지불하는 일회성 지출입니다. 코퍼스가 한 자릿수 더 커지더라도 비용은 화폐 단위의 한 자릿수 수준에 머무릅니다. 임베딩이 검색 시스템 예산에서 가장 큰 항목이 되는 경우가 드문 이유입니다.
참고 사항과 변형
위 수치는 문서의 최초 임베딩만을 다룹니다. 이와 관련된 세 가지 비용은 별도로 청구됩니다. 실행 시점에 사용자 질의를 임베딩하는 비용(질의는 짧으므로 작습니다), 벡터를 벡터 데이터베이스에 저장하는 비용, 그리고 문서가 바뀔 때 다시 임베딩하는 비용입니다. 문서를 더 작은 청크로 분할하면 문서 수는 늘지만 문서당 토큰 수는 줄어들므로, 그 곱 — 따라서 비용 — 은 약간의 겹침을 더한 원래 토큰 총수에 가깝게 유지됩니다.
활용
임베딩 비용은 검색 파이프라인 예산을 세우는 첫 단계입니다. 임베딩이 만들어 낸 벡터는 저장하고 질의해야 하며, 이는 벡터 데이터베이스 비용 계산기의 주제입니다. 저장 공간 자체는 벡터의 차원과 개수에 따라 달라지며 이는 벡터 데이터베이스 용량 계산기가 다룹니다. 검색된 문맥을 소비하는 생성 호출의 가격은 토큰 비용 계산기가 산정합니다.
자주 묻는 질문 (FAQ)
임베딩이란 무엇입니까?
임베딩은 텍스트 한 조각의 의미를 나타내는 숫자의 나열, 즉 벡터입니다. 임베딩 모델은 문서를 읽고 고정 길이의 벡터를 출력하며, 의미가 비슷한 텍스트는 그 벡터 공간에서 서로 가깝게 위치합니다. 검색 시스템은 모든 문서를 한 번씩 임베딩하여 벡터를 저장해 두고, 질의 시점에 질문을 임베딩한 뒤 가장 가까운 문서를 반환합니다.
문서당 토큰 수는 어떻게 추정합니까?
경험칙으로 토큰 하나는 영어 기준 약 네 글자, 즉 대략 0.75 단어에 해당하므로 1,000 단어 분량의 글은 약 1,300 토큰입니다. 코드, 표, 비영어권 문자는 토큰화 효율이 낮아 글자당 토큰 수가 더 많아집니다. 정확한 값이 필요하면 문서 표본을 제공업체 토크나이저에 통과시켜 평균을 구하면 됩니다.
이 비용을 다시 지불해야 합니까?
벡터를 저장해 두는 한 임베딩은 문서당 한 번만 부과되는 일회성 비용입니다. 새 문서를 추가하거나, 내용이 바뀌어 다시 임베딩해야 하거나, 다른 임베딩 모델로 전환할 때만 비용이 다시 발생합니다. 한 모델의 벡터는 다른 모델의 벡터와 호환되지 않기 때문입니다. 질문 자체를 질의 시점에 임베딩하는 비용은 별도로 청구되며 보통 매우 작습니다.
면책조항
이 값은 코퍼스를 임베딩하는 일회성 추정치이며, 질의 시점 임베딩, 벡터 저장, 내용 변경 시 재임베딩 비용은 포함하지 않습니다. 토큰 수는 모델의 토크나이저와 내용에 따라 달라지고 공개 단가는 시간이 지나면서 바뀝니다. 현재 요율과 토큰 수는 제공업체에서 확인하시기 바랍니다.