처음부터 만드는 LLM 32f부 — 개입: 가중치 감쇠 (Weight Decay)

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LLM 학습 시 과적합을 방지하기 위한 정규화 기법인 가중치 감쇠(Weight Decay)의 효과를 분석한다. 가중치의 L2 노름을 손실 함수에 추가하여 모델 복잡도를 제어하는 수학적 원리를 설명하고, 이를 경사 하강법 업데이트 식에 적용하는 과정을 유도한다. 실험 결과, 현대 LLM에서 표준처럼 쓰이는 0.1보다 GPT-2 시절의 0.01이 163M 규모의 소형 모델에서 더 낮은 테스트 손실(3.643)을 기록했다. 반면 Cerebras 논문의 스케일링 법칙을 적용한 높은 수치(0.337)는 오히려 성능을 저하시키는 것으로 나타났다.

배경

PyTorch 기본 사용법, 경사 하강법 및 옵티마이저 개념, L2 정규화에 대한 이해

대상 독자

처음부터 LLM을 구현하고 최적화하려는 머신러닝 엔지니어 및 연구자

의미 / 영향

소형 모델 학습 시 최신 대형 모델의 하이퍼파라미터(0.1)를 맹목적으로 따르기보다, 모델 규모에 맞는 정규화 강도(0.01)를 찾는 것이 성능 향상에 중요하다는 점을 시사한다.

섹션별 상세

과적합은 모델이 훈련 데이터의 노이즈까지 학습하여 검증 데이터에서 성능이 떨어지는 현상이다. 가중치 감쇠는 모델 가중치의 크기를 손실 함수에 페널티로 부여함으로써 모델의 복잡도를 자동으로 억제한다. 실험에서는 163M 파라미터 모델을 대상으로 다양한 가중치 감쇠 값을 적용하여 테스트 손실 변화를 측정했다. 소형 모델에서는 복잡도 억제 수준이 성능에 직결됨을 확인했다.

훈련 데이터 포인트의 분포를 보여주는 산점도 — Chart분류 작업을 위해 제공된 초기 훈련 데이터셋의 분포를 시각화한다. 이 데이터는 이후 모델이 과적합되거나 적절히 학습되는 과정을 설명하는 기초가 된다.

훈련 데이터에 과적합된 강력한 모델의 결정 경계 — Chart복잡한 모델이 훈련 데이터의 모든 포인트를 완벽하게 분리하기 위해 매우 굴곡진 결정 경계를 형성한 모습을 보여준다. 이는 전형적인 과적합 사례로, 새로운 데이터에 대한 일반화 능력이 떨어질 것임을 암시한다.

검증 데이터를 추가했을 때 과적합 모델의 실패 사례 — Chart훈련 데이터에 맞춰진 복잡한 경계가 파란색 검증 데이터 포인트를 제대로 분류하지 못하는 상황을 시각화한다. 이를 통해 과적합을 감지하고 모델 복잡도를 조절해야 할 필요성을 역설한다.

적절한 복잡도를 가진 단순한 모델의 완벽한 적합 — Chart덜 복잡한 모델이 부드러운 곡선의 결정 경계를 형성하여 훈련 데이터와 검증 데이터를 모두 잘 분류하는 이상적인 상태를 보여준다. 가중치 감쇠가 지향하는 자동화된 모델 단순화의 목표를 시각적으로 설명한다.

가중치 감쇠는 수학적으로 손실 함수에 가중치 제곱합(L2 노름)의 절반을 더한 형태를 취한다. 이를 미분하여 업데이트 식을 유도하면, 매 단계에서 가중치 원본 값의 일정 비율을 단순히 차감하는 간단한 형태로 단순화된다. 본문에서는 AdamW 옵티마이저가 이 가중치 감쇠를 기존 Adam과 다르게 처리하는 방식의 기초가 됨을 강조한다. 수식 유도를 통해 학습률과 가중치 감쇠가 서로 긴밀하게 연결되어 있음을 증명했다.

GPT-2와 GPT-3 등 주요 모델의 하이퍼파라미터를 조사한 결과, 현대적인 표준은 0.1로 수렴하는 추세다. 하지만 저자는 GPT-2가 실제로는 0.01을 사용했을 것이라는 가설을 세우고 이를 직접 실험으로 검증했다. 실험 결과 0.01을 적용했을 때 테스트 손실이 3.643으로 개선되어, 0.1(3.692)보다 우수한 성능을 보였다. 이는 모델 규모에 따라 최적의 정규화 강도가 다를 수 있음을 시사한다.

Cerebras 시스템즈의 논문에서 제안한 스케일링 법칙을 기반으로 최적의 가중치 감쇠 값(0.337)을 계산하여 적용했다. 그러나 이 수치를 적용한 학습은 손실 값이 심하게 요동치며 최종 테스트 손실 3.814를 기록해 베이스라인보다 나쁜 결과를 초래했다. 학습률 스케줄링을 병행해도 성능 저하를 막지 못했으며, 이는 해당 법칙이 대규모 모델이나 특정 환경에 최적화되었을 가능성을 보여준다.

실무 Takeaway

163M 규모의 소형 LLM 학습 시 가중치 감쇠 값을 현대적 표준인 0.1 대신 0.01로 낮추면 테스트 손실을 약 0.049 개선할 수 있다.
가중치 감쇠와 학습률은 서로 곱해져 업데이트에 반영되므로, 학습률 스케줄링을 적용할 때는 가중치 감쇠 값도 함께 재검토해야 한다.
최신 논문의 스케일링 법칙이 항상 소형 모델에 적용되는 것은 아니므로, 실제 실험을 통한 하이퍼파라미터 검증이 필수적이다.

언급된 리소스

문서Build a Large Language Model (from Scratch)

논문Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training