AutoMuon: PyTorch에서 Muon 최적화 도구를 AdamW처럼 쉽게 사용하는 라이브러리

작성자가 오픈소스 기여(PR)를 독려하며 다양한 아키텍처에서의 테스트 결과를 요청하고 있어 긍정적인 협업 분위기가 형성되고 있다.

• 기존 AdamW 기반 코드에서 AutoMuon을 사용하여 최적화 도구 교체 시 성능 향상을 테스트해볼 수 있다.
• 특이한 레이어 구조를 사용한다면 모듈 제외 리스트를 확인하여 Muon이 잘못 적용되지 않도록 주의해야 한다.

• AutoMuon은 PyTorch 모델의 레이어 타입을 분석하여 Muon과 AdamW 최적화 도구를 파라미터별로 자동 매핑한다
• 2D 가중치 행렬에는 Muon을, 그 외 임베딩 및 편향 값에는 AdamW를 적용하여 학습 효율을 극대화한다
• 커스텀 아키텍처나 특수 레이어의 경우 모듈 제외 리스트(Exclusion List)를 통한 사용자 튜닝이 필요할 수 있다