masked-attention

마스크드 어텐션은 전체 자기어텐션의 계산 범위를 입력의 일부 이웃으로 제한해 국지적 문맥을 우선 보존하도록 하는 기법이다. 마스킹을 통해 불필요한 전역 평균화와 과도한 스무딩을 억제하면서, 작은 이상 징후와 같은 로컬 신호를 유지하는 효과가 있다. 본문에서는 MVAB가 이 원리를 적용해 지역 구조를 보존한 뒤 장거리 모델을 도입하는 설계 실험이 기술되었다.