Mistral, 119B 파라미터의 Mixture-of-Experts 모델 'Small 4' 출시

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Mistral AI가 추론, 비전, 코딩 기능을 하나로 통합한 새로운 Mixture-of-Experts(MoE) 모델인 'Small 4'를 출시했다. 이 모델은 총 119B개의 파라미터를 보유하고 있으나, 토큰당 활성화되는 파라미터는 8B개에 불과해 높은 효율성을 자랑한다. 256k의 넓은 컨텍스트 창과 이전 버전 대비 3배 향상된 처리량을 제공하며, Apache 2.0 라이선스로 공개되어 개발자들에게 강력한 오픈 소스 대안을 제시한다. 특히 LiveCodeBench 등 주요 벤치마크에서 경쟁 모델을 압도하며 고성능 API 시장을 겨냥하고 있다.

배경

LLM 추론 아키텍처 이해, Mixture-of-Experts(MoE) 개념, Apache 2.0 라이선스 지식

대상 독자

고성능 오픈 소스 LLM을 활용하려는 AI 엔지니어 및 백엔드 개발자

의미 / 영향

Mistral은 고성능 모델의 오픈 소스화를 통해 OpenAI와 같은 폐쇄형 모델 기업들과의 격차를 줄이고 있다. 특히 효율적인 MoE 구조와 통합 모델 전략은 API 비용 경쟁이 치열한 시장에서 개발자들의 선택을 이끌어낼 것으로 보인다.

섹션별 상세

Mistral Small 4는 119B 파라미터 규모의 Mixture-of-Experts(MoE) 아키텍처를 채택했으며, 실제 추론 시에는 토큰당 8B개의 파라미터만 활성화하여 연산 효율을 극대화했다.

기존에 분리되어 있던 추론 특화 모델(Magistral), 비전 모델(Pixtral), 코딩 특화 모델(Devstral)의 기능을 단일 모델로 통합하여 멀티모달 및 복합 작업 수행 능력을 강화했다.

256k 토큰의 대규모 컨텍스트 윈도우를 지원하며, 이전 세대인 Small 3와 비교했을 때 데이터 처리량(Throughput)이 3배 향상되어 대규모 트래픽 처리에 적합하다.

LiveCodeBench 벤치마크에서 GPT-OSS 120B 모델보다 우수한 성능을 기록했으며, 동일 성능 대비 출력 토큰 수를 20% 줄여 토큰당 비용 효율성을 높였다.

Apache 2.0 라이선스를 적용한 오픈 웨이트(Open Weights) 방식으로 배포되어, 폐쇄형 모델인 OpenAI의 GPT-5.4 nano 등과 차별화된 개발자 생태계 경쟁력을 확보했다.

실무 Takeaway

MoE 아키텍처를 통해 119B급 성능을 8B급 운영 비용으로 구현하여 고성능 LLM의 프로덕션 도입 장벽을 낮췄다.
추론, 비전, 코딩 모델이 통합됨에 따라 여러 모델을 개별적으로 관리할 필요 없이 단일 API 엔드포인트로 복잡한 워크플로우를 구축할 수 있다.
Apache 2.0 라이선스의 오픈 웨이트 모델이므로 기업 환경에서 데이터 보안을 유지하며 자체 인프라에 최적화된 배포가 가능하다.

언급된 리소스

문서Mistral Small 4 Release Blog