본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필
관련 기사 바로가기
선형 어텐션 아키텍처의 메커니즘, 트레이드오프 및 교차층 라우팅
Sparse Delta Memory: 희소성으로 선형 RNN의 상태 용량 확장
Gated Delta Net에서 Q/K 투영 제거를 통한 성능 향상 및 파라미터 절감 연구
Olmo Hybrid와 미래의 LLM 아키텍처: Transformer를 넘어서는 효율성
Taylor-Calibrate: 하이브리드 선형 어텐션 증류를 위한 원칙적 초기화
SANA-WM: Hybrid Linear Diffusion Transformer를 활용한 효율적인 분 단위 월드 모델링
9B 모델 출시: Gated DeltaNet과 100만 토큰 컨텍스트를 지원하는 하이브리드 아키텍처
← 피드로 돌아가기
Gated DeltaNet
Architecture (AI 아키텍처)
약 8개 아티클
관련 태그:
Linear Attention
Cross-Layer Value Routing (CLVR)
DeltaNet
Gated Attention
Mamba
MTP
Olmo Hybrid
RWKV
SANA-WM
Sparse Delta Memory (SDM)