quantile-balancing

Quantile Balancing은 각 라우터의 점수 분포를 기준으로 전문가 할당을 균등화하는 기법으로, 입력 배치의 라우터 마진을 이용해 편향을 보정하는 입력→분포 계산→편향 보정→재할당 절차를 따른다. Kimi K3는 896 전문가 규모에서 고정-스텝 편향 보정이 실패할 때 한 배치의 라우터 마진에서 편향을 직접 계산하는 방법을 사용했다. 이 방식은 대규모 MoE에서 전문가별 부하 편차를 줄여 학습 안정성을 개선한다.