Manifold-Constrained Hyper-Connections
매니폴드 제약 하이퍼-커넥션
여러 스트림 채널을 갖는 하이퍼-연결 매커니즘으로 입력과 출력 사이의 다채널 투영 행렬을 통해 서로 다른 토큰 믹서(예: RNN 계열, Attention)를 동적·비대칭적으로 라우팅할 수 있게 하는 구조적 아이디어이며, 이 글에서는 mHC 기반 투영을 활용해 레이어 내 전문가 라우팅을 수행했다.
매니폴드 제약 하이퍼-커넥션
여러 스트림 채널을 갖는 하이퍼-연결 매커니즘으로 입력과 출력 사이의 다채널 투영 행렬을 통해 서로 다른 토큰 믹서(예: RNN 계열, Attention)를 동적·비대칭적으로 라우팅할 수 있게 하는 구조적 아이디어이며, 이 글에서는 mHC 기반 투영을 활용해 레이어 내 전문가 라우팅을 수행했다.
