본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

동적 희소 어텐션 (dynamic-sparse-attention) 용어 설명 | AI Trends

dynamic-sparse-attention

동적 희소 어텐션

중급

어텐션 연산 시 모든 토큰을 보지 않고 중요한 토큰만 선택적으로 계산하여 연산량을 줄이는 구조이다. 긴 문맥 처리에 효과적이며 메모리 사용량을 최적화한다.

비슷한 개념

sparse-attention attention-sparsity compressed-sparse-attention token-scarcity vsa sparse-activation sparse-model cca

← 용어 사전 전체 보기