본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필
sparse-attention
희소 어텐션
고급
어텐션 메커니즘에서 중요도가 낮은 토큰을 제외하고 계산하여 효율성을 높이는 방식이다. 긴 문맥을 처리할 때 발생하는 연산량의 급격한 증가를 억제한다.
비슷한 개념
attention-sparsity
dynamic-sparse-attention
compressed-sparse-attention
token-scarcity
vsa
chunk-wise-sparse-attention
sparse-activation
linear-attention
← 용어 사전 전체 보기