최종 업데이트: 2026-06-22

KV 캐시 크기

트랜스포머 추론 중에 모델은 지금까지 본 모든 토큰을 어텐션합니다. 매 생성 스텝마다 전체 컨텍스트의 키와 값 벡터를 다시 계산하지 않으려고, 모델은 이를 저장해 두고 재사용합니다. 이것이 키-값 캐시입니다. 이 캐시는 긴 컨텍스트 서빙에서 가속기 메모리를 가장 많이 잡아먹는 요인이 되곤 하며, 때로는 모델 가중치 자체보다 커지기도 합니다. 이 계산기는 레이어 수, 키/값 헤드 수, 헤드 차원, 컨텍스트 길이, 배치 크기, 그리고 저장된 수 하나당 바이트로부터 그 크기를 추정합니다.

캐시가 존재하는 이유

텍스트를 한 번에 한 토큰씩 생성한다는 것은, 새 토큰마다 그 앞의 모든 토큰을 어텐션해야 한다는 뜻입니다. 캐시가 없으면 매 스텝마다 전체 프롬프트와 그동안의 출력을 다시 처리해야 하므로 생성 비용이 시퀀스 길이의 제곱으로 늘어납니다. 과거 토큰의 키와 값을 보관해 두면, 모델은 각 스텝을 새 토큰에만 비례하는 작업으로 바꿉니다. 그 속도의 대가는 메모리입니다. 레이어마다, 키/값 헤드마다, 컨텍스트의 토큰마다 키와 값이라는 벡터 한 쌍을 들고 있어야 합니다.

공식

캐시는 키와 값 두 텐서를 보관하므로, 바이트 단위 크기는 다음과 같습니다.

여기서 $L$은 레이어 수, $H$는 키/값 헤드 수, $d$는 헤드 차원, $s$는 토큰 단위 컨텍스트 길이, $B$는 배치 크기, $e$는 저장 요소당 바이트입니다. $10^9$로 나누면 기가바이트가 됩니다. 크기는 각 요인에 선형으로 커지며, 이것이 핵심 직관입니다. 컨텍스트, 배치, 레이어 수 중 무엇이든 2배가 되면 캐시도 2배가 됩니다.

그룹 쿼리 어텐션

그룹 쿼리 어텐션(GQA)이 겨냥하는 대상이 바로 키/값 헤드 수 $H$입니다. 평범한 멀티헤드 어텐션에서는 쿼리 헤드마다 키/값 쌍을 하나씩 소유합니다. GQA는 쿼리 헤드 한 그룹이 키/값 헤드 하나를 공유하게 하고, 멀티쿼리 어텐션은 레이어 전체에 걸쳐 단 하나만 공유합니다. 캐시가 $H$에 비례하므로, 키/값 헤드를 32개에서 8개로 줄이면 쿼리 헤드와 모델 품질 대부분은 그대로 둔 채 캐시를 4분의 1로 줄일 수 있습니다. 최근의 대규모 모델 대부분이 바로 이 이유로 GQA를 채택합니다.

계산 예시

레이어 32개, 키/값 헤드 32개, 헤드 차원 128을 가진 모델이 4,096 토큰의 컨텍스트를 들고, 16비트 정밀도로 시퀀스 하나를 서빙한다고 합시다.

약 2.15 GB입니다. 이런 시퀀스 4개를 동시에 서빙하면 4배가 되어 대략 8.59 GB가 됩니다. 캐시를 8비트 정밀도로 바꾸면 두 수치 모두 절반으로 줄어듭니다.

결과 읽기

모든 요인이 선형으로 곱해지므로, 긴 컨텍스트와 큰 배치를 함께 쌓으면 캐시가 가중치를 압도할 수 있습니다. 이것이 운영 추론 엔진이 요소당 바이트를 줄이는 캐시 양자화, 키/값 헤드를 줄이는 GQA, 단편화 없이 캐시를 채우는 페이지드 어텐션에 의존하는 이유입니다. 같은 하드웨어 예산의 연산 측면은 어텐션 메모리 계산기에서, 모델 가중치 부분은 LLM 추론 VRAM 계산기에서 다룹니다.