가속기 한 대의 최대 속도, 가속기 수, 활용도로부터 추론 플릿의 지속 토큰 처리량을 추정합니다. 단일 스트림 최대치가 아니라 현실적인 용량을 산출합니다.
입력
플릿
가속기 한 대가 완전한 배칭 아래에서 도달하는 최고 지속 처리량으로, 벤치마크로 측정됩니다. 단일 스트림이 아니라 해당 가속기의 모든 동시 요청에 걸친 총 출력입니다.
≥ 1
작업을 병렬로 처리하는 가속기의 수입니다. 각 가속기가 독립적인 트래픽 몫을 담당할 때 처리량은 이 수에 거의 선형으로 비례하여 확장됩니다.
%
1 – 100 %
플릿이 벤치마크 최대치로 가동되는 시간의 비율입니다. 실제 트래픽에는 한산한 시간대, 고르지 않은 부하, 스케줄링 공백이 있으므로 지속 출력은 이론적 합계보다 낮습니다.
결과
값을 입력하면 계산 결과가 표시됩니다.
플릿 전체의 지속 초당 토큰 수입니다. 가속기당 2,500에 가속기 8대와 활용도 70 %을 곱한 약 ...입니다. 용량 계획의 기준으로 삼을 수치입니다.
세부 정보
플릿이 유효 속도로 하루 동안 처리할 수 있는 토큰 수입니다(...). 지속 처리량에 하루 86,400초를 곱한 값입니다.
유효 초당 토큰 수
가속기 한 대의 최대 토큰 속도는 최상의 순간에 포착된 벤치마크 수치다. 배포 전체가 하루 동안 실제로 지속하는 처리량은 그와 다르다. 트래픽은 밀려왔다 빠지고, 가속기는 부분적으로 유휴 상태에 놓이며, 용량은 급증에 대비해 남겨진다. 이 계산기는 가속기당 최대치, 가속기 수, 활용도 인자로부터 이 지속적인 플릿 수준의 속도, 즉 용량 계획의 기준으로 삼아야 할 수치를 추정한다.
최대 처리량과 지속 처리량
최대치를 합산하여 용량을 과대평가하기 쉽다. 최대치는 모든 가속기가 매 순간 가득 찬 배치로 포화되어 있다고 가정하는데, 이는 실제 플릿에서 실제 시간에 걸쳐 결코 성립하지 않는다. 수요는 고르지 않고 부하 분산은 불완전하며, 운영자는 급증을 흡수하기 위해 의도적으로 여유를 남긴다. 활용도 인자는 이 모든 것을 하나의 곱셈 인자로 접어 넣어 낙관적 상한을 작업에 약속할 수 있는 수치로 바꾼다.
공식
veffTd=vg⋅G⋅u=veff⋅86400
여기서 는 가속기당 초당 최대 토큰 수, 는 가속기 수, 는 활용도 비율, 는 지속 처리량, 는 하루에 처리되는 토큰 수다(하루는 86,400초다). 각 가속기가 독립적인 트래픽 몫을 담당할 때 처리량은 가속기 수에 거의 선형으로 비례하여 확장된다.
계산 예시
각각 완전한 배칭 아래에서 초당 2,500 토큰으로 벤치마크된 가속기 8대로 구성된 플릿이 70% 활용도로 가동되는 경우를 살펴본다.
이 플릿은 초당 14,000 토큰을 지속하며 하루에 약 12억 토큰을 처리할 수 있다. 이 값이 단순 최대치인 초당 20,000 토큰보다 얼마나 아래에 있는지 주목하라. 불완전한 활용도로 잃은 용량의 30%가 바로 더 나은 배칭과 스케줄링으로 되찾을 수 있는 여유분이다.
계획에 활용하기
일일 토큰 수치를 예상 수요와 비교하라. 수요를 이 용량으로 나누어 이 규모의 플릿이 몇 개 필요한지 구한 뒤 평균을 초과하는 급증에 대비한 여유를 더한다. 출력은 가속기 수와 활용도 양쪽에 비례하여 오르므로, 하드웨어를 더 사거나 활용도를 높여 목표를 달성할 수 있으며 후자가 대개 더 저렴한 방법이다. 가속기당 최대치 자체는 배칭 벤치마크에서 나오는데 이는 배치 추론 처리량 계산기에서 다루며, 완전한 활용도 미만으로 가동할 때의 비용 결과는 GPU 활용도 비용 계산기에서 다룬다.
자주 묻는 질문 (FAQ)
이것은 최대 처리량과 어떻게 다릅니까?
최대 처리량은 가속기 한 대가 완전히 배칭되어 포화된 순간에 도달하는 값입니다. 유효 처리량은 현실이 개입한 뒤 플릿 전체가 시간에 걸쳐 지속하는 값입니다. 트래픽은 고르지 않게 도착하고, 일부 가속기는 부분적으로 유휴 상태에 놓이며, 배치가 항상 가득 차지는 않고, 급증에 대비해 용량이 예비로 남겨집니다. 가속기당 최대치에 가속기 수를 곱하면 이론적 상한이 나오고, 여기에 활용도를 곱하면 실제로 약속할 수 있는 수치로 낮아집니다. 용량 계획은 최대치가 아니라 유효 수치를 사용해야 합니다.
가속기당 최대치는 어디서 나옵니까?
특정 모델을 특정 하드웨어에서 실제 운영할 배치 크기로 벤치마크하여 측정하는 것이 가장 좋은데, 이는 모델 크기, 정밀도, 시퀀스 길이, 서빙 스택에 따라 달라지기 때문입니다. 점검 차원에서는 메모리 대역폭 루프라인이 단일 스트림 디코딩의 상한을 제시하며, 배칭 서빙은 이를 동시 요청 수만큼 곱합니다. 벤치마크 수치가 있으면 그것을 사용하고 루프라인은 낙관적 상한으로만 활용하십시오.
이를 용량 계획에 어떻게 활용합니까?
유효 처리량 또는 일일 토큰 수치를 예상 수요와 비교하십시오. 어떤 작업이 하루에 일정 수의 토큰을 필요로 한다면, 그 값을 하루 용량으로 나누어 이 규모의 플릿이 몇 개 필요한지 구한 뒤 평균을 초과하는 급증에 대비한 여유를 더하십시오. 출력은 가속기 수와 활용도 양쪽에 비례하여 확장되므로, 하드웨어를 추가하거나 더 나은 배칭과 스케줄링으로 활용도를 높여 목표를 달성할 수 있으며, 후자가 대개 더 저렴합니다.
면책조항
이는 처리량이 가속기 수에 선형으로 비례하여 확장되고 단일 활용도 인자가 모든 현실적 손실을 포착한다고 가정합니다. 네트워킹, 부하 분산, 고르지 않은 시퀀스 길이, 꼬리 지연이 지속 출력을 더 낮출 수 있습니다. 대상 하드웨어에서 벤치마크하고 평균 수요 위에 여유를 유지하십시오.
