gumbel-softmax-routing

Gumbel-Softmax 라우팅은 이산 클러스터 할당을 연속 근사로 처리해 경사하강법으로 최적화 가능한 토큰 분류를 가능하게 하는 기법이다. 각 토큰에 대해 클러스터 확률 분포를 샘플링하고 기대값으로부터 시맨틱 프롬프트를 구성하여 역전파 경로를 보존한다. CogSENet은 이를 이용해 토큰을 의미별로 재배열하고 SDSSM의 선택적 스캔에 입력한다.