본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필
online-softmax identity
온라인 소프트맥스 아이덴티티
질의(q)와 멀티블록(KV) 간의 attention을 분해하고 각 블록의 상태를 합성해 손실 없이 prefix 정보를 재구성하는 수학적 원리.
비슷한 개념
top-k-block-selection
softmax-attention
decoupled-masked-attention
attention
hierarchical-softmax-attention
online-softmax
cca
softmax-shift-invariance
← 용어 사전 전체 보기
