M3 논문 — Minimax Sparse Attention으로 블록 선택 기반 장문 확장성과 MoE 결합

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

원문은 M3 아카이브 논문을 발견한 경험에서 출발해 M3가 도입한 Minimax Sparse Attention(MSA)과 그 설계 의의를 설명한다. MSA는 입력을 블록으로 나누고 쿼리별로 블록을 스코어링해 상위 관련 블록만 선택적으로 어텐션 연산을 수행하므로, 전체 시퀀스에 대한 이차적 비용을 블록 수준으로 회피해 1M 토큰급 장문에서 효율성을 확보한다. M3는 또한 MoE 라우팅과 결합해 두 차원의 희소성(토큰당 활성 전문가 제한으로 연산 절감 + 블록 선택으로 레이어당 컨텍스트 비용 절감)을 동시에 추구한다. 비교 대상으로 제시된 설계들(Llama 4 Scout, Qwen3, DeepSeek NSA 등)은 MoE나 여러 브랜치를 사용하는 점에서 차이가 있으며, M3는 브랜치 수를 줄이고 블록 선택에 책임을 둔 단순화된 파이프라인을 채택했다. 결과적으로 M3가 네이티브로 긴 컨텍스트에서 프리트레이닝되었다는 점은 RoPE 기반 위치 인코딩의 길이 확장 문제를 피하는 핵심 설계 결정이며, 두 차원 희소성이 실제로 작동하면 밀집(dense) 어텐션 기반 설계는 1M 토큰급 확장성에서 경쟁력을 잃을 가능성이 크다는 결론이 도출된다.

실용적 조언

장문 컨텍스트 확장을 목표로 모델을 설계할 때는 단순히 어텐션 확장 기법을 적용하기보다 블록 기반 선택(Minimax Sparse Attention)과 MoE 같은 연산 희소성을 조합해 전반적 비용 구조를 낮추는 방안을 고려할 것
목표 컨텍스트 길이에서 네이티브로 프리트레이닝을 진행하면 RoPE 확장 한계로 인한 성능 저하 위험을 줄일 수 있으므로, 긴 컨텍스트가 핵심 요구라면 초기 데이터·배치 설계에 긴 시퀀스를 포함할 것

섹션별 상세

M3에서 제안한 Minimax Sparse Attention(MSA)은 쿼리별로 문맥을 블록 단위로 점수화해 상위 관련 블록만 선택해 어텐션을 수행하는 방식으로, 입력을 블록으로 나누고 각 쿼리가 블록을 스코어링 → 상위 블록만 dense 어텐션에 전달 → 불필요한 블록은 스킵하는 흐름을 따른다. 이로써 전체 시퀀스에 대한 이차적(quadratic) 비용을 블록 수준으로 줄여 1M 토큰급에서도 비용을 억제할 수 있다. 논문과 작성자는 DeepSeek NSA(세 갈래 디자인)와 대비해 MSA는 인덱스 브랜치 → 스파스 브랜치로 단순화했다고 지적하며 설계 차이를 근거로 제시한다. 설계 단순성은 구현·프리트레이닝 난이도를 낮춰 대규모 장문 모델 실험을 촉진할 수 있다는 실무적 의미를 갖는다.

M3를 MoE 라우팅과 함께 쌓는 관점은 두 가지 차원의 희소성이 결합되는 점에서 주목된다: MoE 측면에서는 토큰당 활성화되는 전문가 수를 제한해 실제 연산을 줄이고(예: 게시물에서는 428B 파라미터 중 23B만 활성화된다는 수치가 언급됨), 어텐션 측면에서는 쿼리별 블록 선택으로 레이어당 컨텍스트 비용을 감소시킨다. 입력 → MoE 라우터가 소수 전문가를 선택 → 토큰 연산이 절감되는 흐름과 MSA의 블록 선택이 병행되면 전체 비용 구조가 크게 개선된다. 비교 근거로 Llama 4 Scout나 Qwen3는 MoE를 쓰더라도 grouped query나 dense attention을 유지해 컨텍스트 확장에서는 여전히 이차적 비용을 부담한다고 지적된다. 이중 희소성이 실제로 확장성을 입증하면, 장문(수백만~백만 토큰) 환경에서 dense attention 기반 설계의 경쟁력은 급격히 약화될 수 있다는 함의를 갖는다.

M3가 중요한 설계 결정을 하나 더 내린 점은 장문을 네이티브로 프리트레인했다는 점이다: 모델은 짧은 컨텍스트에서 훈련한 뒤 길이 확장으로 보완한 것이 아니라 처음부터 긴 컨텍스트로 학습되었다고 보고서에 명시되어 있다. RoPE 등 위치 임베딩을 길이 확장 방식으로 처리할 경우 Llama 3.1 같은 모델에서 훈련 길이를 넘어서면 성능이 저하되는 사례가 관찰되었고, M3는 이 한계를 프리트레이닝 설계로 회피했다는 근거를 제시한다. 따라서 장문 성능 확보를 목표로 할 때 목표 길이 네이티브 프리트레이닝은 단순한 후처리보다 안정적인 성능을 보장하는 실무적 전략으로 평가된다.

용어 해설

Minimax 희소 어텐션(Minimax Sparse Attention): — 쿼리별로 문맥을 블록 단위로 점수화해 상위 관련 블록만 실제 어텐션 연산에 포함시키는 방식이다. 입력 시퀀스를 블록으로 나누고 각 쿼리가 블록들을 스코어링한 뒤 상위 블록에만 dense 어텐션을 적용해 전체 시퀀스에 대한 이차적 비용을 피한다. 장문(예: 1M 토큰)에서 컨텍스트 비용을 줄여 확장성을 확보하는 데 핵심적이다.
Mixture of Experts(Mixture of Experts (MoE)): — 많은 수의 전문가(서브네트워크)를 두고 입력 토큰마다 라우터가 소수의 전문가만 활성화해 연산을 절감하는 구조다. 각 토큰은 몇 개의 전문가만 거쳐 전달되므로 전체 모델 파라미터는 크면서도 실제 연산량은 낮게 유지된다. 대규모 모델의 연산-파라미터 분리를 통해 비용 효율적 확장을 가능하게 한다.
RoPE (Rotary Positional Embedding)(RoPE): — 위치 정보를 인코딩하기 위해 쿼리·키에 회전 기반 변환을 적용하는 positional embedding 방식이다. 길이 확장 시 포지션 표현의 보간이나 확장 기법이 필요하며, 원래 훈련 길이보다 훨씬 긴 컨텍스트에서 성능이 저하되는 사례가 보고됐다. 장문 학습에서 positional 처리의 설계가 모델 성능에 결정적 영향을 준다.
장문 네이티브 프리트레이닝(Long-context pretraining): — 목표 컨텍스트 길이(예: 수십만~백만 토큰)를 염두에 두고 처음부터 긴 시퀀스로 모델을 프리트레인하는 방식이다. 짧은 컨텍스트로 학습한 모델을 후처리로 길이 확장하는 방법보다 실제 긴 문맥에서의 성능 안정성이 높다. 특히 positional encoding 확장 한계 문제를 회피하는 데 중요하다.

언급된 리소스

논문M3 (arXiv:2606.13392)

논문DeepSeek NSA (arXiv:2502.11089)