trajectory-routing-loss

Trajectory Routing Loss는 전체 롤아웃에서 각 토큰에 할당된 전문가 활성화의 누적 합을 이미지의 라플라시안 기반 살리언시 맵과 정규화된 분포로 맞추는 손실 함수이다. 구체적으로 토큰별 누적 할당 점수 A를 softmax로 정규화하고 라플라시안으로 계산한 살리언시 맵 M의 softmax와 KL-divergence를 최소화한다. 이 손실은 중요한 영역에 더 많은 계산 자원을 집중시키도록 라우터를 유도한다.