latentmoe
잠재 전문가 혼합
전문가 선택 과정을 잠재 공간(Latent Space)에서 수행하여 연산 효율을 극대화하는 Mixture of Experts 아키텍처의 변형이다. 기존 MoE보다 라우팅 효율이 높으며 NVIDIA의 Nemotron-3-Super 모델에 적용되어 120B 규모에서도 12B의 활성 파라미터만으로 동작하게 한다.
잠재 전문가 혼합
전문가 선택 과정을 잠재 공간(Latent Space)에서 수행하여 연산 효율을 극대화하는 Mixture of Experts 아키텍처의 변형이다. 기존 MoE보다 라우팅 효율이 높으며 NVIDIA의 Nemotron-3-Super 모델에 적용되어 120B 규모에서도 12B의 활성 파라미터만으로 동작하게 한다.
