게이트 델타넷
어텐션 메커니즘과 유사한 선형 재귀 구조를 가진 신경망 모듈이다. 하이브리드 아키텍처에서 어텐션이 학습하기 어려운 복잡한 함수를 학습할 수 있게 하며, 특히 코드 평가와 같은 논리적 작업에서 높은 표현력을 제공한다.