데이터 제약 학습을 위한 처방적 스케일링 법칙

고품질 데이터의 공급이 컴퓨팅 파워의 성장 속도를 따라가지 못하는 데이터 부족 문제를 해결하기 위한 새로운 가이드라인을 제시한다. 기존 Chinchilla 법칙이 간과했던 데이터 반복 학습 시의 과적합 비용을 수학적으로 모델링하여, 한정된 데이터로 최상의 성능을 내는 모델 크기와 학습 횟수를 정확히 예측할 수 있게 한다.

기존의 Chinchilla 스케일링 법칙은 모든 학습 토큰이 고유하다는 가정하에 설계되었다. 하지만 실제로는 고품질 데이터가 부족하여 동일한 데이터를 여러 번 반복해서 학습(Multi-epoch)하는 경우가 많다. 이때 기존 법칙은 데이터 반복에 따른 '수익 체감'은 설명할 수 있지만, 모델이 데이터를 암기하면서 발생하는 '과적합으로 인한 성능 저하'는 반영하지 못하는 한계가 있다.

이 논문은 과적합이 모델의 크기가 클수록, 그리고 데이터가 적을수록 더 심하게 발생한다는 점에 착안했다. 이를 해결하기 위해 기존 손실 함수에 '반복 횟수'와 '모델 크기 대비 데이터 비율'을 변수로 하는 페널티 항을 추가했다. 이는 마치 근육 성장을 위해 운동할 때, 적절한 반복은 도움이 되지만 과도한 반복은 근육 파괴(과적합)를 일으키는 것과 유사하며, 이를 수학적으로 공식화한 것이다.

결과적으로 연구팀은 데이터가 한정된 상황에서 무조건 반복 횟수를 늘리는 것이 답이 아님을 보여주었다. 일정 수준 이상의 컴퓨팅 자원이 확보되면, 작은 모델로 데이터를 여러 번 읽는 것보다 더 큰 모델을 선택해 반복 횟수를 줄이는 것이 최종 성능(Perplexity)과 다운스트림 작업 정확도 면에서 훨씬 유리하다는 것을 증명했다.

연구팀은 Llama 2 아키텍처를 기반으로 15M에서 1B 파라미터 규모의 모델 300개 이상을 학습시켜 데이터를 수집했다. FineWeb 데이터셋을 사용하여 50M에서 6B 토큰 범위의 데이터 예산과 최대 16회의 반복 횟수를 조합하여 실험을 설계했다.

핵심 방법론은 Chinchilla 법칙 L(N, D) = E + A/N^α + B/D^β에 가산적 페널티 항을 추가한 것이다. 가장 복잡한 4-파라미터 형태의 페널티 항은 P * R_D^δ * (N/U_D^γ)^κ로 정의된다. 여기서 R_D는 추가 반복 횟수, N은 모델 파라미터 수, U_D는 고유 토큰 수이다. [R_D와 N/U_D 비율을 입력으로] → [지수승 연산과 계수 P를 곱하여] → [추가적인 손실 값을 계산하고] → [이 값이 반복 학습 시 발생하는 과적합의 크기를 의미]하게 된다.

학습 시에는 AdamW 옵티마이저와 Cosine learning rate schedule을 사용했으며, Weight Decay 설정을 표준(0.1)과 강력(1.0) 두 가지로 나누어 정규화가 과적합 계수 P에 미치는 영향을 분석했다. 모든 모델은 B200 또는 A6000 GPU에서 학습되었다.

제안된 스케일링 법칙은 기존 Muennighoff 등의 유효 데이터(Effective data) 방식보다 훨씬 높은 예측 정확도를 보였다. 특히 데이터 반복 횟수가 많아질수록 기존 법칙은 손실 값을 과소평가하는 경향이 있었으나, 본 논문의 법칙은 실제 관측된 손실 증가 추이를 거의 완벽하게 추적했다.

실제 모델 학습 시뮬레이션에서, 컴퓨팅 예산이 2x10^19 FLOPs이고 고유 데이터가 500M인 경우, 기존 법칙은 670M 모델로 10회 반복할 것을 권장했으나 본 논문의 법칙은 2.2B 모델로 3회만 반복할 것을 처방했다. 이 처방을 따랐을 때 Perplexity는 18.90에서 17.73으로 개선되었으며, OLMES 벤치마크의 BPB 점수도 1.37에서 1.34로 낮아져 더 높은 성능을 입증했다.

Weight Decay 실험에서는 λ=1.0을 적용했을 때 과적합 계수 P가 표준 설정 대비 약 70% 감소함을 확인했다. 이는 강력한 정규화가 데이터 제약 상황에서 모델이 더 많은 반복 학습을 견딜 수 있게 해준다는 것을 수치적으로 증명한 결과이다.

본 연구의 아키텍처는 Llama 2를 따르며 Multi-Head Attention(MHA), RoPE, SwiGLU, RMSNorm 등을 포함한다. 핵심 기술적 차별점은 과적합을 데이터 측면의 '유효 데이터 감소'로 보지 않고, 모델 크기와 데이터 양의 상호작용에 의한 '가산적 비용'으로 재정의했다는 점이다.

수학적으로는 과적합 페널티가 N/U_D 비율에 대해 초선형적(Superlinear, κ > 1)으로 증가하며, 반복 횟수 R_D에 대해서도 가속화되는 특성을 가짐을 밝혔다. 이는 모델이 커질수록 고정된 데이터셋에 대해 더 빠르게 과적합된다는 직관을 정량화한 것이다.

또한, 기존 연구들이 Chinchilla 베이스라인을 타 연구의 수치로 고정하여 사용함으로써 발생했던 오류를 지적했다. 본 연구에서는 자체 학습 데이터에 대해 베이스라인을 다시 피팅(Refit)함으로써, 데이터 제약 상황에서 더 큰 모델을 사용하는 것이 유리하다는 상반된 결론의 타당성을 확보했다.

본 연구는 최대 1B 파라미터 규모와 16회 반복까지만 테스트되었으므로, 실제 서비스 수준의 거대 모델(Frontier scales)이나 극단적인 반복 횟수에서도 동일한 지수 값이 유지될지는 확인되지 않았다. 또한 Double Descent와 같은 복잡한 현상은 모델링에 포함되지 않았으며, Weight Decay 외의 다른 정규화 기법에 대한 통합적 분석은 향후 과제로 남겨두었다.