본문으로 건너뛰기

Non-gated MLP

Non-gated MLP

중급

게이트 없는(MoE의 SwiGLU 대신) MLP 전문가를 사용하여, ReLU 기반 routing과의 공진화에서 더 안정적인 활성화 비율을 얻는 설계다.