최종 업데이트: 2026-06-22

학습률 워밍업

학습률은 신경망 학습에서 가장 영향이 큰 초매개변수이며, 최신 트랜스포머는 이를 일정하게 두는 경우가 드뭅니다. 표준 방식은 초기 몇 단계에 걸쳐 0에서 최고값까지 올린 뒤, 나머지 학습 동안 작은 바닥값을 향해 코사인 곡선을 따라 감쇠시킵니다. 이 계산기는 그 스케줄에서 임의로 선택한 단계의 학습률과, 워밍업에 쓰는 학습 비율을 함께 돌려줍니다.

학습률이 시간에 따라 변하는 이유

학습 시작 시점에는 가중치가 무작위이고 기울기 통계에 대한 옵티마이저의 추정이 신뢰할 수 없으므로, 큰 갱신이 손실을 발산시킬 수 있습니다. 학습률이 0에서 선형으로 오르는 짧은 워밍업은 옵티마이저가 안정되는 동안 초기 갱신을 작게 유지합니다. 워밍업이 끝나면 높은 학습률이 진행을 가속하지만, 끝까지 높게 두면 모델이 최소점에 정착하지 못하고 그 주위를 맴돕니다. 학습률을 감쇠시키면, 여기서는 코사인 곡선을 따라 감쇠시키면, 모델이 초기에는 크게, 수렴할수록 점점 더 미세하게 걸음을 옮길 수 있습니다.

스케줄

두 단계가 학습률을 좌우합니다. 워밍업 중, 곧 현재 단계 $s$가 워밍업 길이 $w$ 이하인 동안에는 학습률이 최고값 $\eta_{max}$까지 선형으로 오릅니다. 워밍업 이후에는 전체 단계 $S$까지 남은 단계에 걸쳐 최고값에서 바닥값 $\eta_{min}$을 향해 코사인 감쇠합니다.

워밍업 비율은 단순히 $w / S$입니다. 감쇠의 중간 지점에서는 코사인 항이 0이므로 학습률이 최고값과 바닥값의 정확히 중간에 놓입니다.

계산 예시

최고값 0.0003, 바닥값 0.00003, 워밍업 2,000 단계, 전체 100,000 단계를 살펴봅니다. 아직 워밍업 안인 1,000 단계와 감쇠 중간 지점인 51,000 단계에서 학습률은 다음과 같습니다.

워밍업 중간에서 학습률은 최고값의 절반입니다. 코사인이 0이 되는 감쇠 중간 지점에서는 최고값과 바닥값의 정확히 사이에 놓입니다. 여기서 워밍업은 100,000 단계 중 2,000 단계, 곧 학습의 2%를 차지합니다.

값의 선택

최고 학습률이 스케줄을 좌우하며 보통 경험적으로 찾는데, 흔히 손실이 더 나아지지 않을 때까지 학습률을 높이는 범위 테스트를 씁니다. 대형 트랜스포머의 공개된 최고값은 대략 1e-4에서 6e-4 사이에 들고, 최고값은 배치 크기에 비례하는 경향이 있어 실효 배치 크기를 바꾸면 대개 다시 튜닝해야 합니다. 워밍업은 수백에서 수천 단계, 흔히 학습의 작은 비율이 일반적입니다. 바닥값은 흔히 최고값의 약 10분의 1로 두거나, 완전한 감쇠를 원하면 0으로 둡니다.

한계

프레임워크는 이 모델이 담지 못하는 세부에서 차이가 납니다. 스케줄을 단계가 아니라 토큰으로 재는 경우, 바닥값을 최고값의 비율로 매개변수화하는 경우, 끝에 상수나 선형 꼬리를 더하는 경우가 있습니다. 여기 쓴 워밍업 동반 코사인 형태가 흔한 기본값이지만, 옳은 초매개변수는 문제마다 다르므로 실험으로 확인해야 합니다. 특정 단계 수가 나타내는 연산량은 LLM 학습 시간과 비용 계산가 추정하고, 그 뒤의 하드웨어 청구액은 GPU 클라우드 비용 계산기가 다룹니다.