residual-skip-connection

입력 신호를 이후 층에 더하는 구조로서 슈퍼 액티베이션이 고정된 채널과 크기로 전파되는 경로를 제공한다. 이 경로를 통해 초기 층에서 발생한 슈퍼 액티베이션이 네트워크 후단까지 영향을 미쳐 최종 토큰 확률을 재편성한다. 슈퍼 웨이트의 전파 효과를 이해하려면 잔차 연결 동작을 고려해야 한다.