expert-routing

입력 토큰을 어떤 전문가에게 보낼지 결정하는 메커니즘으로, 보통 gating network가 토큰별로 활성화할 전문가를 선택한다. 라우팅은 사전 응답(prefill)과 생성(generation) 단계에서 서로 다른 동작을 보일 수 있다. 본문은 전통적 사전 단계 연구를 넘어 생성 단계의 라우팅 신호를 관찰한 사례를 다룬다.