본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필
Non-gated MLP
Non-gated MLP
게이트 없는(MoE의 SwiGLU 대신) MLP 전문가를 사용하여, ReLU 기반 routing과의 공진화에서 더 안정적인 활성화 비율을 얻는 설계다.
비슷한 개념
ReLU-based routing
stable-latent-moe
NormSiLU
expert-router
stable-latentmoe
g2lu
latent-moe
routing-drift
← 용어 사전 전체 보기