hyper-connections

하나의 잔여(residual) 스트림을 N개의 병렬 스트림으로 확장하여 층간 정보흐름을 학습 가능한 mixing 행렬로 제어하는 구조이다. 각 층은 pre/post/residual 매핑을 통해 스트림을 읽고 섞으며 쓰기를 수행하여 지속적 상태(persistent state)를 확장한다. 이 논문에서는 HC의 확장 한계와 이를 극복하는 방법이 핵심 배경으로 사용되었다.