Agentic-MME: 멀티모달 지능에서 에이전트 능력이 실제로 가져오는 변화는 무엇인가?

섹션별 상세

기존 MLLM 평가 방식은 도구 통합의 유연성이 부족하고 최종 정답에만 의존하여 도구 사용의 적절성을 확인하기 어려웠다. Agentic-MME는 이러한 한계를 극복하기 위해 샌드박스 코드와 API를 지원하는 통합 평가 프레임워크를 제공한다. 모델이 실제로 도구를 호출했는지, 그리고 그 과정이 효율적이었는지를 단계별로 검증한다.

벤치마크는 6개 도메인과 3단계 난이도로 구성된 418개의 실세계 과제를 포함하며, 각 과제는 인간의 참조 궤적과 비교된다. S-축(검색)과 V-축(시각)을 기준으로 2,000개 이상의 수동 주석 처리된 체크포인트를 통해 중간 상태를 감사한다. 이를 통해 모델의 '오버싱킹(Overthinking)' 지표를 산출하여 인간 대비 효율성을 정량화한다.

성능 평가 결과, Gemini3-pro 모델이 전체 평균 56.3%의 정확도로 가장 우수한 성능을 기록했으나 난이도가 높은 Level-3 과제에서는 23.0%로 급락했다. 이는 현재의 멀티모달 에이전트가 복잡한 실세계 시나리오에서 도구를 연쇄적으로 활용하고 추론하는 데 여전히 큰 어려움을 겪고 있음을 시사한다. 과제당 평균 10시간 이상의 수동 주석이 투입된 고품질 데이터셋임이 확인됐다.

용어 해설

멀티모달 거대 언어 모델(MLLM): — 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 동시에 이해하고 처리할 수 있는 인공지능 모델이다. 기존 LLM의 언어 추론 능력에 시각적 이해력을 결합하여 더 복잡한 상황 판단을 가능하게 한다.
에이전트 능력(Agentic Capability): — AI 모델이 단순히 질문에 답하는 수준을 넘어, 목표 달성을 위해 외부 도구를 호출하거나 웹 검색을 수행하는 등 능동적으로 행동하는 능력이다. 문제 해결을 위한 계획 수립과 실행 과정이 포함된다.
과정 검증(Process Verification): — 최종 결과물(정답)의 일치 여부만 확인하는 것이 아니라, 모델이 정답에 도달하기 위해 거친 중간 단계와 논리적 흐름이 올바른지 확인하는 평가 방식이다. 도구 사용의 적절성과 효율성을 정밀하게 진단할 수 있다.
오버싱킹 지표(Overthinking Metric): — 모델이 문제를 해결하는 과정에서 인간의 참조 경로와 비교하여 얼마나 더 많은 불필요한 단계를 거쳤는지를 수치화한 지표이다. 에이전트의 추론 효율성을 측정하는 데 사용된다.

기술

Gemini3-pro
Agentic-MME

활용 사례

멀티모달 에이전트 성능 벤치마킹
에이전트 추론 과정의 효율성 진단

언급된 리소스

논문Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence?