본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
피드
트렌딩
커뮤니티
공지
온라인 소프트맥스 아이덴티티 (online-softmax identity) 용어 설명 | AI Trends
online-softmax identity
온라인 소프트맥스 아이덴티티
중급
질의(q)와 멀티블록(KV) 간의 attention을 분해하고 각 블록의 상태를 합성해 손실 없이 prefix 정보를 재구성하는 수학적 원리.
비슷한 개념
top-k-block-selection
softmax-attention
online-softmax
cca
softmax-shift-invariance
qkv-attention
attention-state-memory
qkv-matrices
← 용어 사전 전체 보기