모듈, 너비, 깊이, 배치 및 기간 전반에 걸친 완료된 하이퍼파라미터 전이 연구

섹션별 상세

기존의 μP(Maximal Update Parameterization)는 모델 너비에 따른 하이퍼파라미터 전이를 가능하게 했으나, 깊이나 배치 크기 같은 다른 핵심 스케일링 축을 충분히 다루지 못하는 한계가 있었다.

연구진이 제안한 Complete(d)P는 너비와 깊이를 통합하는 CompleteP를 기반으로 배치 크기와 학습 기간까지 확장하여, 모델 아키텍처와 학습 설정이 크게 변해도 최적의 하이퍼파라미터가 유지되도록 설계되었다.

모델 전체에 하나의 값을 적용하는 글로벌 방식 대신, 13가지 모듈 유형별로 학습률, AdamW 파라미터, 가중치 감쇠 등을 독립적으로 최적화하는 모듈별(per-module) 하이퍼파라미터 최적화를 수행했다.

50M 파라미터 모델에서 진화 전략(Evolutionary Strategy)을 통해 찾아낸 모듈별 하이퍼파라미터는 동일 성능 도달까지 필요한 학습 시간을 글로벌 최적값 대비 2.3배 단축했다.

이 최적화된 설정은 7.2B 모델로의 전이에서도 유효함이 입증되었으며, 140B 토큰 학습 시점에서 글로벌 최적값 대비 1.32배의 속도 향상을 유지하며 약 14,000배 큰 FLOP 예산 차이를 극복했다.

최대 업데이트 파라미터화(μP): — 모델의 너비가 변하더라도 최적의 하이퍼파라미터가 일정하게 유지되도록 가중치 초기화와 학습률을 스케일링하는 기법이다. 대규모 모델을 직접 튜닝하는 대신 작은 모델에서 찾은 최적 설정을 그대로 전이할 수 있게 하여 학습 효율을 극대화한다.
하이퍼파라미터 전이(Hyperparameter Transfer): — 소규모 모델에서 실험을 통해 찾아낸 최적의 학습 설정(학습률, 배치 크기 등)을 수십 배에서 수만 배 더 큰 대규모 모델에 추가 수정 없이 그대로 적용하는 프로세스이다. 거대 모델 학습 시 발생하는 막대한 시행착오 비용을 줄이는 핵심 기술이다.
파라미터화(Parameterization): — 신경망의 가중치와 학습률이 모델의 크기(너비, 깊이 등)에 따라 어떻게 변화해야 하는지를 정의하는 수학적 설계 방식이다. 적절한 파라미터화는 모델 규모가 커져도 학습의 안정성과 수렴 속도를 보장하는 기반이 된다.
진화 전략(Evolutionary Strategy): — 생물의 진화 과정을 모방하여 최적의 해를 찾는 알고리즘으로, 하이퍼파라미터 탐색 공간에서 여러 후보군을 생성하고 성능이 좋은 개체를 선택·변이시키며 최적값을 찾아낸다. 미분 불가능한 목적 함수에서도 효과적으로 작동하는 최적화 기법이다.