섹션별 상세
기존 MLLM 평가 방식은 도구 통합의 유연성이 부족하고 최종 정답에만 의존하여 도구 사용의 적절성을 확인하기 어려웠다. Agentic-MME는 이러한 한계를 극복하기 위해 샌드박스 코드와 API를 지원하는 통합 평가 프레임워크를 제공한다. 모델이 실제로 도구를 호출했는지, 그리고 그 과정이 효율적이었는지를 단계별로 검증한다.
벤치마크는 6개 도메인과 3단계 난이도로 구성된 418개의 실세계 과제를 포함하며, 각 과제는 인간의 참조 궤적과 비교된다. S-축(검색)과 V-축(시각)을 기준으로 2,000개 이상의 수동 주석 처리된 체크포인트를 통해 중간 상태를 감사한다. 이를 통해 모델의 '오버싱킹(Overthinking)' 지표를 산출하여 인간 대비 효율성을 정량화한다.
성능 평가 결과, Gemini3-pro 모델이 전체 평균 56.3%의 정확도로 가장 우수한 성능을 기록했으나 난이도가 높은 Level-3 과제에서는 23.0%로 급락했다. 이는 현재의 멀티모달 에이전트가 복잡한 실세계 시나리오에서 도구를 연쇄적으로 활용하고 추론하는 데 여전히 큰 어려움을 겪고 있음을 시사한다. 과제당 평균 10시간 이상의 수동 주석이 투입된 고품질 데이터셋임이 확인됐다.
근거
- Gemini3-pro 모델은 Agentic-MME에서 56.3%의 전체 정확도를 기록했다. — Abstract 섹션의 Experimental results 부분
- 고난도(Level-3) 과제에서 모델의 성능은 23.0%까지 하락한다. — Abstract 섹션의 마지막 문장
용어 해설
- 멀티모달 거대 언어 모델(MLLM)
- — 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 동시에 이해하고 처리할 수 있는 인공지능 모델이다. 기존 LLM의 언어 추론 능력에 시각적 이해력을 결합하여 더 복잡한 상황 판단을 가능하게 한다.
- 에이전트 능력(Agentic Capability)
- — AI 모델이 단순히 질문에 답하는 수준을 넘어, 목표 달성을 위해 외부 도구를 호출하거나 웹 검색을 수행하는 등 능동적으로 행동하는 능력이다. 문제 해결을 위한 계획 수립과 실행 과정이 포함된다.
- 과정 검증(Process Verification)
- — 최종 결과물(정답)의 일치 여부만 확인하는 것이 아니라, 모델이 정답에 도달하기 위해 거친 중간 단계와 논리적 흐름이 올바른지 확인하는 평가 방식이다. 도구 사용의 적절성과 효율성을 정밀하게 진단할 수 있다.
- 오버싱킹 지표(Overthinking Metric)
- — 모델이 문제를 해결하는 과정에서 인간의 참조 경로와 비교하여 얼마나 더 많은 불필요한 단계를 거쳤는지를 수치화한 지표이다. 에이전트의 추론 효율성을 측정하는 데 사용된다.
기술
- Gemini3-pro
- Agentic-MME
활용 사례
- 멀티모달 에이전트 성능 벤치마킹
- 에이전트 추론 과정의 효율성 진단
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 03.수집 2026. 04. 07.출처 타입 PAPER
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
