Stable LatentMoE
Stable LatentMoE는 MoE 라우팅의 불안정성을 완화하기 위해 라우팅 및 활성화 패턴을 안정화하는 기술적 보완 방식이다. 라우팅 결정의 변동성을 줄이고 특정 전문가 집합이 반복적으로 활성화되도록 설계되어 학습 안정성과 일반화 성능을 높인다. Kimi K3 맥락에서는 토큰당 활성 전문가 수를 제어하면서 효율적 활성화를 유도하는 핵심 구성요소로 사용된다.
