Learned Router
학습된 라우터
각 토큰에 필요한 계산 깊이를 학습해 토큰별로 다른 수의 반복 처리를 선택하는 구성 요소입니다. Mixture-of-Recursions에서는 라우터가 토큰을 한 번, 두 번 또는 그 이상 Transformer block에 통과시킵니다. 쉬운 토큰은 조기에 빠져나가고 어려운 토큰만 추가 계산을 받아 토큰 단위의 적응형 연산이 가능해집니다.
학습된 라우터
각 토큰에 필요한 계산 깊이를 학습해 토큰별로 다른 수의 반복 처리를 선택하는 구성 요소입니다. Mixture-of-Recursions에서는 라우터가 토큰을 한 번, 두 번 또는 그 이상 Transformer block에 통과시킵니다. 쉬운 토큰은 조기에 빠져나가고 어려운 토큰만 추가 계산을 받아 토큰 단위의 적응형 연산이 가능해집니다.
