MIRAS 프레임워크: Transformer, Mamba, RetNet을 연상 기억 관점에서 통합

커뮤니티 반응

대체로 긍정적이며, 새로운 통합 프레임워크와 Qwen 3.5의 하이브리드 시도에 대해 높은 관심을 보였다.

주요 논점

01찬성다수

모든 시퀀스 모델을 연상 기억 관점에서 통합하는 것이 이론적으로 타당하다.

합의점 vs 논쟁점

합의점

Transformer와 SSM은 완전히 다른 기술이 아니라 연상 기억을 처리하는 서로 다른 방식이다.
하이브리드 아키텍처가 대규모 언어 모델의 성능과 효율성 균형을 잡는 데 효과적이다.

실용적 조언

대규모 모델 구축 시 Full Attention과 Gated DeltaNet을 1:3 비율로 혼합하여 효율성을 극대화할 수 있다.

섹션별 상세

Google의 MIRAS 논문은 모든 시퀀스 아키텍처를 네 가지 설계 축으로 통합했다. 메모리 구조, 어텐션 편향, 리텐션 게이트, 학습 알고리즘의 조합에 따라 Transformer, Mamba, RetNet 등이 결정된다. 이 프레임워크는 각 모델이 연상 기억 위에서 서로 다른 트레이드오프를 가진 온라인 최적화를 수행함을 입증했다. 아키텍처 간의 이분법적 논쟁을 이론적으로 종결시키는 의미를 갖는다.

MIRAS 프레임워크가 Transformer, Mamba, RetNet, Titans를 연상 기억 위의 네 가지 설계 선택지로 분류한 다이어그램이다. — Diagram각 아키텍처가 메모리 구조와 학습 알고리즘 등 네 가지 축에서 어떻게 차별화되는지 시각적으로 보여준다. 이를 통해 서로 다른 모델들이 기술적으로 어떻게 연결되는지 한눈에 파악할 수 있게 돕는다.

Qwen 3.5는 하이브리드 아키텍처의 실효성을 대규모 모델에서 증명했다. 0.8B에서 397B에 이르는 8개 모델 모두에 75%의 Gated DeltaNet과 25%의 Full Attention을 혼합 적용했다. 이러한 구성은 추론 효율성과 긴 문맥 처리 능력을 동시에 확보하기 위한 전략으로 풀이된다. 하이브리드 접근 방식이 실험실 수준을 넘어 실제 대규모 서비스 환경에서 검증됐음을 시사한다.

용어 해설

연상 기억(Associative Memory): — 입력 패턴과 연관된 정보를 저장하고 검색하는 메커니즘이다. MIRAS 프레임워크에서 모든 시퀀스 아키텍처의 공통 기반으로 정의되며, 모델이 과거 정보를 어떻게 유지하고 활용하는지를 결정하는 핵심 요소이다.
게이트 델타넷(Gated DeltaNet): — 선형 어텐션의 효율성을 개선한 변형 아키텍처이다. Qwen 3.5에서 풀 어텐션과 결합하여 사용되었으며, 계산 복잡도를 낮추면서도 시퀀스 모델링 성능을 유지하는 데 중요한 역할을 한다.
상태 공간 모델(SSM): — 시퀀스 데이터를 상태 변수를 통해 처리하는 구조이다. Mamba와 같은 모델의 기반이 되며, Transformer의 연산 효율성 한계를 극복하기 위한 대안 기술로 주목받고 있다.

언급된 도구

Qwen 3.5추천

대규모 언어 모델 (0.8B~397B)

언급된 리소스

논문MIRAS: Every Sequence Architecture is an Associative Memory