최종 업데이트: 2026-06-22

MoE 활성 파라미터

Mixture-of-Experts 모델에는 인상적인 두 가지 숫자가 있습니다. 모델이 얼마나 담을 수 있는지를 나타내는 큰 전체 파라미터 수와, 토큰당 얼마나 많은 연산을 수행하는지를 나타내는 훨씬 작은 활성 파라미터 수입니다. 둘은 자주 혼동되지만 서로 다른 질문에 답합니다. 하나는 메모리 비용을, 다른 하나는 연산 비용을 결정합니다. 이 계산기는 전문가 수, top-k 라우팅, 전문가당 크기, 공유 가중치로부터 두 값을 분리합니다.

Mixture of Experts의 구성 방식

밀집(dense) 트랜스포머에서는 모든 토큰이 모든 가중치를 통과합니다. Mixture of Experts는 한 계층의 피드포워드 블록을 여러 개의 병렬 전문가로 대체하고, 각 토큰마다 그중 top-k개만 선택하는 작은 라우터를 추가합니다. 나머지 모델, 즉 어텐션, 라우터, 임베딩, 그리고 때로는 항상 실행되는 공유 전문가는 모든 토큰에 공통으로 적용됩니다. 따라서 한 토큰의 경로는 공유 가중치와 라우팅된 소수의 전문가만 거치고, 나머지 전문가는 그 토큰에 대해 유휴 상태로 남습니다.

이는 밀집 모델에서 함께 움직이던 두 양을 분리합니다. 전문가가 많을수록 더 많은 전문 지식을 저장할 수 있으므로 용량은 전문가 수에 따라 증가합니다. 반면 주어진 토큰에 대해 연산을 수행하는 것은 활성 전문가뿐이므로 연산량은 활성 전문가 수에만 따라 증가합니다.

두 가지 수치

전체 전문가 수 $E$, 토큰당 활성 전문가 수 $k$, 전문가당 파라미터 $p$, 공유 파라미터 $s$일 때 전체 수와 활성 수는 다음과 같습니다.

여기서 $T$는 메모리 사용량을 결정하는 전체 수, $A$는 토큰당 연산량을 결정하는 활성 수, $r$은 각 토큰이 거치는 가중치의 비율입니다.

예제 계산

각각 70억 개의 파라미터를 가진 전문가 8개를 두고 토큰당 2개를 라우팅하며, 그 위에 10억 개의 공유 파라미터가 있는 모델을 생각해 봅니다.

이 모델은 570억 개의 파라미터를 보유하지만, 각 토큰에 대해서는 150억 파라미터 모델처럼 연산을 소비합니다. 한 번에 가중치의 약 4분의 1만 활성화되는 셈입니다. 바로 이것이 매력입니다. 150억 모델에 가까운 토큰당 비용으로 570억 모델의 용량을 얻습니다.

메모리는 여전히 전체를 따른다

문제는 절감이 메모리가 아니라 연산에 있다는 점입니다. 어떤 전문가든 어떤 토큰에 대해 선택될 수 있고 토큰 배치가 여러 전문가에 걸쳐 퍼지므로 모든 전문가가 동시에 상주해야 합니다. 미래의 토큰이 어떤 전문가를 필요로 할지 모델은 예측할 수 없습니다. 따라서 메모리 사용량은 전체 수 $T$에 비례하고, 연산만 활성 수 $A$에 비례합니다. 그 결과 Mixture-of-Experts 모델은 호스팅하기에는 크지만 실행하기에는 저렴하며, 이는 동일한 토큰당 비용의 밀집 모델과 정반대의 균형입니다.

메모리 측면을 좌우하는 전체 수는 트랜스포머 파라미터 수 계산기로 아키텍처에서 산출할 수 있고, 그 가중치를 실제로 서빙하는 데 필요한 메모리는 LLM 추론 VRAM 계산기에서 다룹니다.