Ensemble Dense Teacher (EESD)
학습 중 라우팅 불확실성이 큰 토큰에 대해 안정적 예측을 제공하기 위해 EMA 방식으로 업데이트되는 Dense 모델 앙상블을 사용하는 기법으로, 앙상블 Teacher는 모든 Expert를 함께 활성화하여 균일한 Router 확률로 인한 특성 혼합을 억제한다. 이 Teacher는 불확실 토큰에 대해 강한 Guidance를 주고, 확신이 높은 토큰에서는 손실을 작게 유지하여 기존 Specialization을 방해하지 않는다. 결과적으로 초기화 기반 Specialization과 학습 중 유지 메커니즘을 보완하는 역할을 한다.
