관련 기사 바로가기
선형 어텐션 아키텍처의 메커니즘, 트레이드오프 및 교차층 라우팅Sparse Delta Memory: 희소성으로 선형 RNN의 상태 용량 확장Gated Delta Net에서 Q/K 투영 제거를 통한 성능 향상 및 파라미터 절감 연구Olmo Hybrid와 미래의 LLM 아키텍처: Transformer를 넘어서는 효율성Taylor-Calibrate: 하이브리드 선형 어텐션 증류를 위한 원칙적 초기화SANA-WM: Hybrid Linear Diffusion Transformer를 활용한 효율적인 분 단위 월드 모델링9B 모델 출시: Gated DeltaNet과 100만 토큰 컨텍스트를 지원하는 하이브리드 아키텍처
← 피드로 돌아가기
Gated DeltaNet
약 7개 아티클
관심 태그 추가
관련 태그:Linear AttentionCross-Layer Value Routing (CLVR)DeltaNetGated AttentionMambaMTPOlmo HybridRWKVSANA-WMSparse Delta Memory (SDM)
TIMEHEADLINE
