gumbel-relaxation

Gumbel Relaxation은 연속적 확률분포에서 미분 가능한 근사를 통해 이산 선택을 학습 가능한 방식으로 표현하는 기법으로, RcCaMoE에서는 연속 임베딩을 {-1,0,1} 준3진 공간으로 매핑하여 특정 토큰을 '휴지 셀'로 배제하는 데 사용된다.