realformer

Transformer의 Attention 행렬에 잔차 연결(Residual Connection)을 직접 추가한 아키텍처이다. 표준 Transformer보다 학습 수렴 속도가 빠르고 성능이 안정적인 것으로 알려져 있으며, 특히 데이터 노이즈가 많은 환경에서 유리하다.