본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

희소 어텐션 (sparse-attention) 용어 설명 | AI Trends

sparse-attention

희소 어텐션

고급

어텐션 메커니즘에서 중요도가 낮은 토큰을 제외하고 계산하여 효율성을 높이는 방식이다. 긴 문맥을 처리할 때 발생하는 연산량의 급격한 증가를 억제한다.

비슷한 개념

attention-sparsity vsa sparse-activation linear-attention sparse-model token-dropping hybrid-attention flash-attn

← 용어 사전 전체 보기