본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필
관련 기사 바로가기
모든 라우터는 표현 붕괴로 이어진다: 키 노름 맹시성과 어텐션 집중의 통일적 관찰
어텐션 레지듀얼: 학습 가능한 깊이 방향 어텐션을 통한 잔차 연결의 일반화
어텐션 레지듀얼(Attention Residuals) 소개: 깊이 방향 집계의 재구성
Attention Residuals: 잔차 연결을 어텐션 메커니즘으로 대체하여 효율성 증대
← 피드로 돌아가기
AttnRes
Architecture (AI 아키텍처)
약 4개 아티클
관련 태그:
Kimi
Moonshot AI
GPT-2
Kimi Linear
Pythia
Scaling Laws