본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필
관련 기사 바로가기
SkewAdam: MoE 학습에서 옵티마이저 상태 메모리를 계층적으로 줄여 6.78B 모델을 단일 40GB GPU에 탑재한 옵티마이저
← 피드로 돌아가기
SkewAdam
Optimization (최적화 기법)
약 1개 아티클
관련 태그:
AdamW
Mixture-of-Experts (MoE)