대형 언어 모델의 사전학습에 Muon의 효율성이 주목되지만, 대부분의 공개 모델은 Adam으로 사전학습되어 파인튜닝 시 성능 저하가 발생한다. LoRA를 통해 업데이트를 제한하면 Muon과 Adam 간의 implicit bias 차이를 완화하고, 다수의 태스크에서 Muon의 파인튜닝 효과를 실현 가능하게 한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
대형 언어 모델의 사전학습에 Muon의 효율성이 주목되지만, 대부분의 공개 모델은 Adam으로 사전학습되어 파인튜닝 시 성능 저하가 발생한다. LoRA를 통해 업데이트를 제한하면 Muon과 Adam 간의 implicit bias 차이를 완화하고, 다수의 태스크에서 Muon의 파인튜닝 효과를 실현 가능하게 한다.
Optimizer mismatch의 재현 및 분석
Adam-Pretrained와 Muon 간 파인튜닝 미스매치를 재현하고, 두 옵티마이저의 암시적 바이어스 차이가 pretrained 지식의 손상을 야기함을 실험적으로 제시한다.
LoRA로 업데이트를 제한하여 미스매치 완화
LoRA를 통해 pretrained 가중치를 보존하고 업데이트를 저랭크로 제한함으로써 Muon-Pretrained와 Adam-Pretrained 간의 성능 격차를 축소한다.
LoRA 랭크 및 변형에 대한 분석
랭크 증가에 따른 미스매치 영향의 변화, catastrophic forgetting의 양상, LoRA variants의 효과를 다각도로 분석한다.
LoRA-Muon의 대다수 태스크에서의 성능 대등/상회
GLUE(NLU), 이미지 분류(NLP+CV) 등 다수 태스크에서 LoRA-Muon이 LoRA-Adam과 비슷하거나 우수한 성능을 보였고, PE 버전의 LoRA-Muon-PE가 최고 성능을 기록하는 경우가 있다.
관련 Figure
Mismatch의 실질적 차이를 시각적으로 보여주고 LoRA의 적용으로 격차를 줄일 수 있음을 시사한다.
Figure 1: NanoChat 프리트레이닝에서 Muon과 Adam의 상대 perplexity 비교
관련 Figure
랭크 증가에 따른 업데이트 규모 변화와 미스매치 영향의 상호작용을 보여준다.
Figure 5: MetaMath/Code-Feedback에서 LoRA 랭크에 따른 Muon vs Adam 성능
NLU(GLUE, T5-Base): Full-Adam 89.14, Full-Muon 88.77, LoRA-Adam 88.93, LoRA-Muon 88.97, LoRA-Muon-PE 89.20(최고)으로 LoRA-Muon-PE가 최고 성능이다. Full 파인튜닝에서 Muon이 Adam 대비 소폭 열세이나 LoRA를 사용하면 차이가 줄어들고, LoRA-Muon-PE가 최고치를 기록한다. NLU(NLG): LLama 2-7B의 Math/Code/Commonsense에서 Full-Adam 54.92, Full-Muon 53.10, LoRA-Adam 51.62, LoRA-Muon 52.15, LoRA-Muon-PE 51.82. LoRA를 통한 Muon의 미스매치는 줄고, LoRA-Muon이 Math에서 LoRA-Adam과 근접, Code/Commonsense에서 우수한 측면을 보인다. Code-Feedback에서 13B 규모 HumanEval에서 LoRA-Muon이 LoRA-Adam과 비등하거나 우수한 경향을 보였다. CV(CLIP ViT-B/32): 평균 성능은 Full-Adam 대비 Full-Muon의 차이가 작고, LoRA 설정에서 Muon 계열이 Adam 대비 우수하며, LoRA-Muon-PE가 평균적으로 최고를 기록한다. 메타 분석으로 Muon의 LoRA 기반 격차 감소 효과의 집계값은 Muon 0.72% (95% CI: [0.41, 1.04], p<0.001), Muon-PE 0.83% (95% CI: [0.45, 1.20], p<0.001)로 통계적으로 유의하게 감소한다. LoRA 랭크 연구: 메타Math/Code-Feedback/StanfordCars에서 LoRA-Muon은 랭크 2–64에서 LoRA-Adam 대비 견고한 우위를 보이기도 하고, 랭크 증가 시 차이가 감소하거나 역전되는 경향이 있다. StanFordCars에서 LoRA-Muon이 대체로 우수하다. Catastrophic Forgetting: LoRA-Muon은 LoRA-Adam보다 Forgetting이 작아지는 경향을 보이며, 고랭크에서 Forgetting이 증가하는 반면 LoRA-Muon은 더 느리게 증가한다. LoRA-Granularity: LoRA 매트릭스의 스펙트럼 특성에서 Muon은 더 높은 stable rank와 엔트로피를 유지하며, 이는 pretrained 지식 보존에 유리하다. 컴퓨팅 효율: LoRA 하에서 Muon은 LoRA-Adam 대비 1.1–1.2× 느려지나 메모리 사용은 절감되며, CLIP에서 1.0–1.2× 이다. Muon의 옵티마이저 상태 메모리 절감은 약 50% 수준이다.
관련 Figure
Mismatch 하에서 학습률 영향으로 perplexity 곡선의 이동을 보여주며, LoRA가 격차를 완화하는 경향을 확인한다.
Figure 4: Adam/ Muon에 대한 learning-rate 스윕 및 LoRA의 영향
비전 태스크에서 LoRA-Muon이 LoRA-Adam과 유사하거나 우수하며 PE의 추가 효과도 관찰된다.
Figure 6: CLIP ViT-B/32에서 LoRA-Muon의 평균 정확도 비교
관련 Figure
LoRA-PE 및 LoRA variants가 Muon과의 조합에서 이점을 보이며 Muon의 implicit bias에 맞춘 설계가 강점임을 시사한다.
Figure 9–14: LoRA Variants 및 LoRA-FG의 실험 결과와 스펙트럼 분석
이론적 분석은 Toy 모델과 라인-설정에 한정되며, 대형 모델의 일반화에 대한 확장된 이론은 여전히 연구 중이다. 또한 Muon 구현은 분산 training 프레임워크(FSDP/DeepSpeed Zero)에서의 동일성 보장이 제한적이며, 실제 대형 모델에서의 효율성은 구현 상황에 따라 달라질 수 있다.
Adam 사전학습 모델에 Muon 파인튜닝 시 LoRA를 함께 사용하면 업데이트를 제한해 미스매치를 완화하고, 메모리 절감 효과를 얻으며, 태스크에 따라 LoRA-Muon이 LoRA-Adam과 동등하거나 우수한 성능을 달성한다.
코드 공개 여부: 공개
코드 저장소 보기아직 관련 토론이 없습니다.
댓글을 작성하려면 로그인이 필요합니다.
