route-aware-rl

RMRL은 생성된 출력 전체 롤아웃에 대해 정답 보상, 모달리티 일관성 보상, 시간 근거 보상 등 복합 보상으로 토큰 생성뿐 아니라 라우터의 전문가 선택 확률까지 함께 업데이트하는 강화학습 단계이다. 토큰 분기와 게이트 분기 각각에 GRPO 유사한 클리핑 기반 손실을 적용해 보상 신호가 선택된 전문가 집단의 확률을 직접 증가시키도록 한다. 이로써 동일한 정답이라도 적절한 모달·시점에 근거해 답하도록 라우팅을 개선한다.