최종 업데이트: 2026-07-02

AMAT(평균 메모리 접근 시간)

평균 메모리 접근 시간(AMAT)은 히트와 미스를 함께 가중했을 때 프로세서가 메모리 접근을 기다리는 평균 시간을 하나의 지연 시간 수치로 요약합니다. 헤네시와 패터슨의 아키텍처 교재에서 소개된 메모리 계층의 핵심 지표로, 모든 접근을 시뮬레이션하지 않고도 캐시 설계를 비교할 수 있게 해줍니다. 이 계산기는 히트 시간, 미스율, 미스 페널티를 받아 AMAT를 돌려줍니다.

공식

모든 접근은 먼저 캐시를 조회하므로 히트 시간 $t_h$는 무조건 발생합니다. 그중 비율 $m$의 접근이 미스가 되어 계층의 다음 단계에서 블록을 가져와야 하므로 미스 페널티 $t_p$가 더해집니다. 페널티를 발생 빈도로 가중하면 다음과 같습니다.

$\text{AMAT} = t_h + m \times t_p$

히트 시간이 하한을 정하고, 둘째 항은 메모리로 가는 평균 비용입니다. $t_p$는 보통 $t_h$보다 한두 자릿수 크기 때문에 미스율이 작아 보여도 미스 항이 종종 지배적입니다.

작은 미스율도 영향이 큰 이유

히트 시간 1 ns, 미스 페널티 100 ns인 캐시를 생각해 봅시다. 미스율 1%에서 미스 항은 $0.01 \times 100 = 1$ ns로 이미 히트 시간과 같습니다. 5%에서는 5 ns로 히트 시간의 다섯 배입니다. 드물게 발생하는 느린 경로가 성능을 좌우한다는 것이 메모리 계층의 교훈이며, 따라서 히트 시간을 깎는 것보다 미스율이나 페널티를 낮추는 편이 대개 낫습니다.

풀이 예시

레벨 1 캐시의 히트 시간이 1 ns, 미스율이 5%, 미스 페널티가 100 ns라고 합시다. 평균 메모리 접근 시간은 다음과 같습니다.

즉 평균 접근은 6 ns로, 순수 히트 시간의 여섯 배이며 거의 전적으로 미스가 나는 5%의 접근이 원인입니다. 미스율을 2.5%로 절반으로 낮추면 AMAT가 3.5 ns로 떨어지는데, 이는 1 ns 히트 시간에 대한 현실적인 어떤 변경보다도 큰 개선입니다.

다단계 캐시

실제 프로세서는 여러 캐시를 쌓으며, AMAT는 공식을 중첩하여 자연스럽게 확장됩니다. 한 단계의 미스 페널티는 그 아래 단계의 평균 접근 시간입니다. 2단계 계층에서는 다음과 같습니다.

여기서 $m_1$은 L1 미스율, $m_2$는 지역 L2 미스율(L2에 도달한 접근에 대한 L2에서의 미스 비율), $t_{\text{mem}}$은 주기억장치 접근 시간입니다. 이 계산기를 다단계 설계에 쓰려면 먼저 안쪽 괄호를 계산해 L1의 실효 미스 페널티를 구한 다음, 그 값을 바깥 단계의 미스 페널티로 입력하세요. 빠른 중간 단계를 추가하면 L1이 체감하는 실효 페널티가 낮아지므로, 주기억장치 지연이 높게 유지되어도 깊은 계층이 여전히 가치가 있습니다.

AMAT는 1차 근사 모델입니다. 단일 평균 페널티를 가정하고, 비순차 실행·메모리 수준 병렬성·쓰기 버퍼로 인한 중첩을 무시합니다. 결과는 실제 시간의 정확한 예측이 아니라 계층을 비교하기 위한 설계 지침으로 다루세요. 같은 계층을 히트율 관점에서 보려면 캐시 적중률 및 AMAT 계산기 계산기를 참고하세요.