본문으로 건너뛰기

dynamic-sparse-attention

동적 희소 어텐션

중급

어텐션 연산 시 모든 토큰을 보지 않고 중요한 토큰만 선택적으로 계산하여 연산량을 줄이는 구조이다. 긴 문맥 처리에 효과적이며 메모리 사용량을 최적화한다.