latent-moe
잠재 공간(Latent Space)에서 전문가를 선택하고 할당하는 진화된 MoE 방식이다. NVIDIA의 차기 대형 모델에 적용될 예정이며, 더욱 정교한 전문가 활용을 목표로 한다.
NVIDIA부터 DeepSeek까지, 2025년을 화려하게 장식한 오픈 모델 총정리