본문으로 건너뛰기

latent-moe

잠재 전문가 혼합

고급

잠재 공간(Latent Space)에서 전문가를 선택하고 할당하는 진화된 MoE 방식이다. NVIDIA의 차기 대형 모델에 적용될 예정이며, 더욱 정교한 전문가 활용을 목표로 한다.