본문으로 건너뛰기
Non-gated MLP
Non-gated MLP
중급
게이트 없는(MoE의 SwiGLU 대신) MLP 전문가를 사용하여, ReLU 기반 routing과의 공진화에서 더 안정적인 활성화 비율을 얻는 설계다.
비슷한 개념
ReLU-based routing
NormSiLU
g2lu
latent-moe
routing-drift
moe-routing
mixture-of-experts
latentmoe
← 용어 사전 전체 보기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
피드
트렌딩
커뮤니티
공지