본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

온라인 소프트맥스 아이덴티티 (online-softmax identity) 용어 설명 | AI Trends

online-softmax identity

온라인 소프트맥스 아이덴티티

중급

질의(q)와 멀티블록(KV) 간의 attention을 분해하고 각 블록의 상태를 합성해 손실 없이 prefix 정보를 재구성하는 수학적 원리.

비슷한 개념

top-k-block-selection softmax-attention online-softmax cca softmax-shift-invariance qkv-attention attention-state-memory qkv-matrices

← 용어 사전 전체 보기