residual-connection

딥러닝 모델에서 입력 데이터를 출력에 직접 더해주는 지름길을 만들어주는 구조이다. 레이어가 깊어질수록 발생하는 기울기 소실 문제를 효과적으로 해결하여 수백 개의 층을 가진 신경망도 안정적으로 학습할 수 있게 돕는다. 현대 트랜스포머 아키텍처를 포함한 대부분의 딥러닝 모델에서 표준적으로 사용되는 필수 기술이다.