node-attention
노드 어텐션
어텐션의 연산 복잡도를 시퀀스 길이에서 리저버 노드 수로 고정하는 기법이다. 쿼리 게이트 판독 방식을 통해 개별 리저버 노드에 접근함으로써 긴 문맥 처리 시 발생하는 연산량 급증 문제를 해결하고 효율적인 장기 의존성 학습을 가능하게 한다.
노드 어텐션
어텐션의 연산 복잡도를 시퀀스 길이에서 리저버 노드 수로 고정하는 기법이다. 쿼리 게이트 판독 방식을 통해 개별 리저버 노드에 접근함으로써 긴 문맥 처리 시 발생하는 연산량 급증 문제를 해결하고 효율적인 장기 의존성 학습을 가능하게 한다.