Xiaomi, 높은 토큰 효율성을 갖춘 MiMo V2.5 Pro 출시

실용적 조언

대규모 에이전트 시스템을 운영 중이라면 MiMo V2.5 Pro를 라우팅 레이어에 추가하여 토큰 비용 절감 효과를 테스트해볼 가치가 있다.

섹션별 상세

MiMo V2.5 Pro는 ClawEval 벤치마크에서 70K 토큰 궤적당 64%의 Pass^3 점수를 기록했다. 이는 Opus, GPT, Gemini 등 경쟁 모델들이 동일한 성능 수준에 도달하기 위해 40%에서 60% 더 많은 토큰을 소비하는 것과 대조적이다. 이러한 토큰 효율성은 대규모 에이전트 워크로드를 운영하는 기업의 비용 구조를 근본적으로 바꿀 수 있는 핵심 지표로 평가받는다.

SysY 컴파일러 실행 테스트에서 672회의 도구 호출을 포함한 4.3시간의 작업 끝에 북경대학교(PKU) 코스 프로젝트에서 만점을 획득했다. 모델은 무작위적인 시도 대신 전체 파이프라인을 먼저 설계하고 계층별로 내용을 채워나가는 구조적 접근 방식을 사용했다. 수주가 소요되는 CS 전공 프로젝트를 단 몇 시간 만에 완수한 것은 복잡한 계획 수립 능력을 입증한 사례이다.

작성자는 MiMo V2.5 Pro의 벤치마크 성능이 실제 트래픽 환경에서도 유지될지에 대해 의문을 제기했다. 현재 공개된 데이터는 큐레이션된 벤치마크 결과이므로, 실제 라우팅 설정에 Opus나 GPT와 함께 배치했을 때도 비용 절감 효과가 지속될지 확인이 필요하다는 의견이다. 커뮤니티 사용자들에게 실제 사용 경험과 비용 효율성에 대한 피드백을 요청하고 있다.

용어 해설

토큰 효율성(Token Efficiency): — 모델이 특정 작업을 수행하기 위해 소비하는 토큰의 양 대비 성능의 비율이다. MiMo V2.5 Pro는 경쟁 모델 대비 40-60% 적은 토큰으로 유사한 성능을 달성하여 대규모 에이전트 운영 비용을 획기적으로 낮출 수 있는 가능성을 보여준다.
SWE-벤치 프로(SWE-Bench Pro): — 소프트웨어 엔지니어링 능력을 평가하는 벤치마크로 실제 GitHub 이슈를 해결하는 능력을 측정한다. 모델이 복잡한 코드베이스를 이해하고 버그를 수정하거나 기능을 구현하는 실무 능력을 평가하는 지표로 활용된다.
에이전트 워크로드(Agentic Workload): — AI 모델이 단순 응답을 넘어 도구 사용, 계획 수립, 실행 피드백을 반복하며 자율적으로 목표를 달성하는 작업 부하이다. 많은 토큰 소비와 긴 실행 시간이 특징이며 MiMo V2.5 Pro의 효율성이 가장 크게 발휘되는 영역이다.

언급된 도구

MiMo V2.5 Pro추천

에이전트 워크로드 및 코딩 작업 수행