최종 업데이트: 2026-06-22

토큰당 FLOP

언어 모델은 토큰 하나에 얼마나 많은 연산을 쓰는가. 그 답은 이 분야의 거의 모든 어림 계산 — 학습 예산, 추론 비용, 하드웨어 활용도 — 의 출발점이 된다. 표준적인 지름길은 놀라울 만큼 단순하다. 밀집 트랜스포머는 토큰 하나를 처리하는 데 파라미터당 약 두 번의 부동소수점 연산을, 학습 시에는 약 여섯 번을 수행한다. 이 계산기는 그 규칙을 모델의 파라미터 수에 적용한다.

2N 규칙

트랜스포머의 연산은 큰 행렬 곱셈이 지배하며, 그 각각에서 모든 가중치가 토큰당 한 번씩 사용된다. 단일 곱셈-누산은 두 번의 부동소수점 연산 — 곱 한 번과 합 한 번 — 으로 세므로, 토큰 하나를 $N$개의 파라미터를 가진 모델로 밀어 넣는 데 순방향 패스에서 파라미터당 대략 두 번의 연산, 즉 2N 규칙이 든다. 이는 Kaplan의 스케일링 법칙 연구에서 비롯된 추정값이며, 모델 연산을 따지는 보편적 통화가 되었다. 파라미터 가중 행렬 곱셈이 아닌 모든 것을 의도적으로 무시하는데, 이는 대형 모델에 대해 좋은 근사다.

순방향과 학습 비용

모델을 학습시키려면 기울기를 계산하기 위한 역방향 패스도 필요하다. 역방향 패스는 활성값과 가중치 양쪽에 대한 기울기를 만들어 내며 각각 대략 순방향 패스의 비용이 들므로, 순방향 작업을 대략 두 배로 늘린다. 총합은 약 세 번의 순방향 패스, 즉 토큰당 파라미터당 여섯 번의 연산(6N 추정값)이 된다.

계수 $k$는 순방향 패스에 대해 둘, 학습 단계에 대해 여섯이다. $N$이 억 단위로 입력되므로 순방향 수치는 곧바로 GFLOP 단위로 나온다.

계산 예시

700억 파라미터 모델의 순방향 패스에 대해 보면 다음과 같다.

생성되는 토큰 하나마다 약 140 GFLOP가 든다. 모델의 전체 처리량을 곱하면 달성 연산 처리율이 나오고, 이를 가속기의 최대치로 나누면 활용도가 나온다. 같은 모델을 학습시키면 토큰당 $6 \times 70 = 420$ GFLOP가 들며, 학습 비용에 데이터셋의 전체 토큰 수를 곱하는 것이 학습 실행의 연산 예산을 가늠하는 통상적인 방법이다.

빠뜨리는 것

이 규칙은 파라미터를 지닌 행렬 곱셈만 센다. 어텐션 메커니즘은 시퀀스 길이에 따라 커지고 파라미터 수에 의존하지 않는 별도의 항을 더한다. 적당한 컨텍스트 길이의 전형적인 모델에서는 작지만, 매우 긴 컨텍스트에서는 상당해질 수 있다. 임베딩과 정규화 계층도 마찬가지로 생략된다. 이러한 이유로 이 수치는 정확한 명령어 수가 아니라 스케일링과 예산 산정을 위한 추정값이다. 달성 연산을 하드웨어 최대치의 비율로 보려면 모델 FLOP 활용도 계산기로 이어 보면 된다.