최종 업데이트: 2026-06-29

캐시 적중률 및 AMAT

캐시는 자주 쓰는 항목을 빠른 저장소에 두어 데이터 접근을 빠르게 하지만, 그 효과는 데이터가 실제로 그곳에서 발견되는 빈도에 비례할 뿐이다. 이 계산기는 캐시의 적중률, 적중 시간, 미스에 따른 패널티를 평균 메모리 접근 시간(AMAT) — 시스템이 평균적으로 얼마나 빠르게 느껴지는지를 알려 주는 하나의 수치 — 과 미스율로 변환한다.

AMAT 공식

모든 접근은 데이터를 캐시에서 찾거나(적중) 찾지 못한다(미스). 적중은 적중 시간만큼의 비용이 들고, 미스는 적중 시간에 더해 느린 메모리에서 데이터를 가져오는 패널티만큼의 비용이 든다. 많은 접근에 대해 평균을 내면 다음과 같다.

$\text{AMAT} = t_h + m \cdot t_m$

여기서 $t_h$는 적중 시간, $t_m$은 미스 패널티, $m$은 미스율이다. 미스율은 단순히 1에서 적중률을 뺀 값이다.

$m = 1 - h$

모든 접근이 $t_h$를 치르지만 비율 $m$만이 $t_m$을 치르므로, 적중률이 높은 캐시는 평균값을 빠른 적중 시간에 가깝게 끌어내린다.

계산 예시

적중률 95%, 적중 시간 1 ns, 다음 단계에 도달하기 위한 미스 패널티 100 ns인 L1 캐시를 생각해 보자.

접근의 95%가 빠름에도 평균 접근 시간은 적중 시간의 여섯 배이다. 미스 패널티가 적중 시간의 백 배이므로, 미스가 나는 5%의 접근이 비용의 대부분을 차지한다.

미스율이 보이는 것보다 더 중요한 이유

캐시 조정의 지렛대 효과는 적중 시간과 미스 패널티 사이의 큰 격차에서 나온다. 위 예시에서 적중률을 95%에서 99%로 높이면 AMAT가 6 ns에서 2 ns로 줄어드는데, 이는 적중률을 4포인트 바꿔 대략 세 배의 개선을 얻은 것이다. 이 때문에 지역성, 선인출, 캐시 크기를 조금만 개선해도 큰 이득을 얻을 수 있으며, 미스 패널티를 직접 공략하는 것이 그만큼 가치가 있다.

계층 구조로의 확장

현대 프로세서는 주 메모리 앞에 여러 캐시(L1, L2, L3)를 쌓는다. 공식은 자연스럽게 중첩된다. 한 단계의 미스 패널티가 그 아래 단계의 AMAT이다. 계층 구조를 분석하려면 가장 깊은 단계를 먼저 계산하고 그 결과를 상위 단계의 미스 패널티로 위로 전달하면 된다. 접근 지연 시간이 요청 경로 전반에서 어떻게 결합되는지에 관한 더 넓은 관점은 레이턴시 버짓 계산기를 참고하면 된다.

이 수치들은 안정적인 접근 패턴을 가정하므로, 실제 작업 부하는 변동한다. AMAT는 개별 접근에 대한 보장이 아니라 대표적인 평균값으로 다루는 것이 좋다.