TL;DR

MiniMax-M3는 이미지·비디오·텍스트를 학습 초기부터 혼합해 처리하도록 설계된 네이티브 멀티모달 모델로서 약 428B 전체 파라미터와 약 23B 활성화 파라미터를 가진다. 모델은 1M 토큰 컨텍스트를 지원하도록 설계되었고 MiniMax Sparse Attention(MSA)을 통해 긴 문맥에서 어텐션 FLOPs와 레이턴시를 크게 낮추는 것을 목표로 삼았다. README에서 M3는 이전 세대(M2) 대비 1M 컨텍스트에서 prefill과 decode에서 수배~수십배의 속도 향상을 보고하고 있으며, 이미지 자료는 MSA가 GQA 대비 FLOPs 및 레이턴시에서 대폭 개선을 보였음을 정량적으로 제시한다. 이 설계는 긴 히스토리와 멀티모달 증거를 요구하는 코딩·에이전트형 장기 과제에서 실용적 이점을 제공하는 대신 전체 파라미터 규모와 특화된 서빙 스택으로 인한 인프라 요구사항이 존재함을 의미한다.

핵심 역량

• 멀티모달 입력을 단일 모델로 통합해 이미지와 비디오 정보를 텍스트 생성에 직접 반영하는 능력을 보유한다.
• 백만 토큰 단위의 장기 컨텍스트를 유지하면서 프리필과 디코딩 단계에서 낮은 레이턴시로 응답을 생성할 수 있다.
• 코드 작성·리팩터링 및 에이전트형 장기 계획·상호작용 시나리오에서 긴 히스토리와 멀티모달 증거를 함께 다루는 기능을 제공한다.

강점

• 네이티브 멀티모달 학습으로 이미지·비디오와 텍스트 간의 의미 결합이 초기부터 학습되어 멀티모달 증거를 바로 활용하는 질적 장점이 있다.
• 1M 토큰 컨텍스트를 목적으로 설계된 MSA 연산자를 통해 기존 설계 대비 프리필 및 디코딩에서 큰 속도 개선을 내세운 점이 실운영에 유리하다.
• Mixture-of-Experts 스타일의 활성화 파라미터 구조로 전체 파라미터는 매우 크더라도 입력당 연산량을 통제해 비용 대 성능 균형을 맞춘 점이 특징이다.

훈련 방식

모델은 학습 초기 단계부터 이미지·비디오·텍스트를 혼합해 학습하는 mixed-modality training을 적용했고 모델 규모 확장을 위해 MoE 계열의 활성화 전략을 사용해 입력당 약 23B 파라미터를 활성화하도록 설계되었다.

알아두면 좋은 것

• 모델은 학습 초점부터 혼합 모달리티(mixed-modality)로 훈련되어 텍스트·이미지·비디오 간의 심층적 의미 융합을 목표로 삼았다.
• MiniMax Sparse Attention(MSA)을 핵심 효율화 연산자로 도입해 긴 컨텍스트에서 어텐션 연산과 메모리 사용을 줄였다.
• 로컬 배포용으로 transformers, vLLM, SGLang, KTransformers, unsloth 같은 추론 프레임워크 사용을 권장하고 관련 레시피와 튜토리얼을 제공한다.
• 추론 매개변수로 temperature=1.0, top_p=0.95, top_k=40을 권장하고 thinking 파라미터로 reasoning 모드를 enabled·adaptive·disabled 중 설정할 수 있다.

기술적 특징

• MiniMax Sparse Attention(MSA)는 GQA 계열 대비 어텐션 연산과 메모리 사용을 줄이도록 설계된 희소 어텐션 연산자이며, README에서는 장기 컨텍스트(1M 토큰)에서 연산량과 레이턴시를 크게 낮춘다고 명시되어 있다. MSA는 키·쿼리의 모든 쌍을 계산하지 않고 선택적 연결을 통해 per-token FLOPs를 줄이는 방식으로 작동하며, 이로 인해 대규모 컨텍스트에서 실질적인 추론 비용 감소가 가능하다. 공식 문서와 기술보고서(arXiv:2606.13392)가 연계되어 있어 구현 세부사항과 성능 수치가 공개되어 있다.
• 모델은 초기부터 mixed-modality training 방식으로 훈련되어 텍스트·이미지·비디오 간의 심층적 의미 융합을 추구했다는 점이 설계적 차별화 요소이다. 이 접근은 멀티모달 입력을 별도의 어댑터 없이 모델 내부에서 통합적으로 처리하도록 학습되어 멀티모달 신호의 상호작용을 학습 단계에서부터 강화했다. 결과적으로 멀티모달 증거가 텍스트 생성에 직접 반영되는 동작이 가능하다.
• 스케일링 측면에서는 전체 파라미터 수가 약 428B 수준으로 보고되며, MoE 계열의 활성화 전략을 통해 입력당 약 23B 파라미터만 활성화되도록 설계되어 운영 비용을 통제한다. 이 구조는 모델 용량을 키우면서도 실제 추론 시 필요한 연산량을 제한해 대규모 모델을 상대적으로 경제적으로 운영할 수 있게 한다. 활성화 파라미터 수치는 모델의 '효과적 용량'과 추론 비용 판단에 직접적인 근거를 제공한다.
• 프리필(prefill)과 디코딩 단계에서의 최적화가 README에서 강조되었으며, MSA는 프리필 단계의 레이턴시와 디코딩 단계의 토큰당 연산을 모두 줄이는 방향으로 설계되었다. 문서에서는 M2 대비 특정 컨텍스트(1M 토큰)에서 수배에서 수십배 수준의 속도 향상 수치를 제시하고 있어 장기 문맥 작업에서의 실용성이 핵심 설계 목표임이 확인된다. 로컬 서빙 권장 도구로 vLLM, SGLang, Transformers 등이 제시되어 실제 운영 환경에서의 통합 경로가 마련되어 있다.

차별점

• 학습 초기부터 이미지·비디오·텍스트를 혼합해 훈련한 네이티브 멀티모달 설계로, 멀티모달 증거의 의미적 융합을 내부 표현 수준에서 확보한 점이 차별화된다.
• MiniMax Sparse Attention(MSA)를 핵심 연산자로 채택해 백만 토큰급 컨텍스트에서 어텐션 FLOPs와 레이턴시를 줄이도록 설계된 점이 경쟁 모델과의 주요 구분점이다.
• 모델 전체 파라미터는 매우 크지만 MoE 형태의 활성화 전략을 통해 입력당 활성화 파라미터를 수십억 단위로 제한하여 대규모 모델을 실무 환경에서 운영 가능한 방식으로 설계했다.

이미지 분석