처음부터 만드는 LLM 32f부 — 개입: 가중치 감쇠 (Weight Decay)

섹션별 상세

과적합은 모델이 훈련 데이터의 노이즈까지 학습하여 검증 데이터에서 성능이 떨어지는 현상이다. 가중치 감쇠는 모델 가중치의 크기를 손실 함수에 페널티로 부여함으로써 모델의 복잡도를 자동으로 억제한다. 실험에서는 163M 파라미터 모델을 대상으로 다양한 가중치 감쇠 값을 적용하여 테스트 손실 변화를 측정했다. 소형 모델에서는 복잡도 억제 수준이 성능에 직결됨을 확인했다.

훈련 데이터 포인트의 분포를 보여주는 산점도 — Chart분류 작업을 위해 제공된 초기 훈련 데이터셋의 분포를 시각화한다. 이 데이터는 이후 모델이 과적합되거나 적절히 학습되는 과정을 설명하는 기초가 된다.

훈련 데이터에 과적합된 강력한 모델의 결정 경계 — Chart복잡한 모델이 훈련 데이터의 모든 포인트를 완벽하게 분리하기 위해 매우 굴곡진 결정 경계를 형성한 모습을 보여준다. 이는 전형적인 과적합 사례로, 새로운 데이터에 대한 일반화 능력이 떨어질 것임을 암시한다.

검증 데이터를 추가했을 때 과적합 모델의 실패 사례 — Chart훈련 데이터에 맞춰진 복잡한 경계가 파란색 검증 데이터 포인트를 제대로 분류하지 못하는 상황을 시각화한다. 이를 통해 과적합을 감지하고 모델 복잡도를 조절해야 할 필요성을 역설한다.

적절한 복잡도를 가진 단순한 모델의 완벽한 적합 — Chart덜 복잡한 모델이 부드러운 곡선의 결정 경계를 형성하여 훈련 데이터와 검증 데이터를 모두 잘 분류하는 이상적인 상태를 보여준다. 가중치 감쇠가 지향하는 자동화된 모델 단순화의 목표를 시각적으로 설명한다.

가중치 감쇠는 수학적으로 손실 함수에 가중치 제곱합(L2 노름)의 절반을 더한 형태를 취한다. 이를 미분하여 업데이트 식을 유도하면, 매 단계에서 가중치 원본 값의 일정 비율을 단순히 차감하는 간단한 형태로 단순화된다. 본문에서는 AdamW 옵티마이저가 이 가중치 감쇠를 기존 Adam과 다르게 처리하는 방식의 기초가 됨을 강조한다. 수식 유도를 통해 학습률과 가중치 감쇠가 서로 긴밀하게 연결되어 있음을 증명했다.

GPT-2와 GPT-3 등 주요 모델의 하이퍼파라미터를 조사한 결과, 현대적인 표준은 0.1로 수렴하는 추세다. 하지만 저자는 GPT-2가 실제로는 0.01을 사용했을 것이라는 가설을 세우고 이를 직접 실험으로 검증했다. 실험 결과 0.01을 적용했을 때 테스트 손실이 3.643으로 개선되어, 0.1(3.692)보다 우수한 성능을 보였다. 이는 모델 규모에 따라 최적의 정규화 강도가 다를 수 있음을 시사한다.

Cerebras 시스템즈의 논문에서 제안한 스케일링 법칙을 기반으로 최적의 가중치 감쇠 값(0.337)을 계산하여 적용했다. 그러나 이 수치를 적용한 학습은 손실 값이 심하게 요동치며 최종 테스트 손실 3.814를 기록해 베이스라인보다 나쁜 결과를 초래했다. 학습률 스케줄링을 병행해도 성능 저하를 막지 못했으며, 이는 해당 법칙이 대규모 모델이나 특정 환경에 최적화되었을 가능성을 보여준다.

기술

PyTorch
AdamW
Python

활용 사례

LLM Pre-training
Model Optimization
Overfitting Prevention

언급된 리소스

문서Build a Large Language Model (from Scratch)

논문Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training

처음부터 만드는 LLM 32f부 — 개입: 가중치 감쇠 (Weight Decay)

섹션별 상세

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

QLoRA 튜토리얼의 기본 학습률 2e-4가 소규모 데이터에서 실패한 경험과 실전 규칙

200M 파라미터 디코더-온리 Transformer

관련 토론

댓글

관련 기사

QLoRA 튜토리얼의 기본 학습률 2e-4가 소규모 데이터에서 실패한 경험과 실전 규칙

200M 파라미터 디코더-온리 Transformer