본문으로 건너뛰기

Sparse Attention

희소 어텐션

어텐션 메커니즘에서 중요도가 낮은 토큰을 제외하고 계산하여 효율성을 높이는 방식이다. 긴 문맥을 처리할 때 발생하는 연산량의 급격한 증가를 억제한다.