Qwen3.6-35B에 대한 사후적 Adaptive MoE 게이팅 실험과 실증적 벤치마크

게시물은 기술적 세부와 재현 가능한 자료(패치, 로그, 파이프라인)를 함께 제공했기 때문에 기술 커뮤니티에서 관심을 끌었을 것으로 보인다. 반응의 초점은 사후적 게이팅의 한계와 라우터 재교육 필요성에 모였고 몇몇 독자는 GGML 정적 그래프 제약을 현실적인 제약으로 인지했다. 제안된 라우터 미세조정 파이프라인과 하드웨어 요구에 대해 실환경 재현 가능성 여부가 추가 토론의 대상이 되었다.

• 정적 그래프 환경에서 동적 전문가 수를 흉내내려면 제로-게이팅으로 모든 FFN을 계산한 뒤 낮은 신뢰도의 전문가 출력을 0으로 하고 결과를 재정규화하는 방법을 사용할 수 있다.
• 사후 임계값 기반 게이팅을 시도하기 전에 라우터 분포의 샤프니스와 각 전문가의 기여 비율을 먼저 점검해야 하며, 평균 활성 전문가 수와 PPL 변화를 함께 모니터링해야 한다.
• 실제로 라우터의 거동을 개선하려면 gate 파라미터만을 대상으로 한 미세조정과 엔트로피·사용률 균형 정규화를 고려해야 하며 약 20GB VRAM을 예상해야 한다.