VTC-Bench: 복합적 시각 도구 체이닝을 통한 에이전트형 멀티모달 모델 평가

기존 멀티모달 모델 평가는 단순한 질의응답에 그쳤으나, 실제 환경에서는 여러 시각 도구를 조합해 문제를 해결하는 능력이 필수적이다. 이 논문은 OpenCV 기반의 32가지 도구를 체인처럼 연결해 복잡한 시각 추론을 수행하는 능력을 엄격하게 측정하는 벤치마크를 제시하여 차세대 시각 에이전트 개발의 이정표를 마련한다.

왜 중요한가

핵심 기여

VTC-Bench 구축

32개의 OpenCV 기반 시각 도구와 9개 인지 계층으로 구성된 680개의 고품질 문제 세트를 제공한다.

계층적 인지 프레임워크

단순 지각 강화부터 정량적 추정, 복합 추론에 이르는 3단계 계층 구조를 통해 모델의 능력을 다각도로 평가한다.

정밀한 평가 지표 도입

최종 정답률(APR) 외에도 도구 호출 오류(MAE), 도구 사용 효율성(Eff_tool) 등을 통해 추론 과정을 정밀 분석한다.

상용 및 오픈소스 모델 벤치마킹

19개의 주요 MLLM을 평가하여 현재 모델들이 복합 도구 활용 및 미학습 도구 일반화에 심각한 한계가 있음을 입증한다.

핵심 아이디어 이해하기

기존 MLLM은 이미지 내 객체를 인식하거나 설명하는 정적 지각(Static Perception)에는 능숙하지만, 특정 문제를 해결하기 위해 외부 도구를 순차적으로 사용하는 능동적 에이전트(Agentic) 역량은 부족하다. 특히 Attention 메커니즘을 통해 이미지의 특정 영역에 집중하더라도, 그 정보를 바탕으로 어떤 도구를 어떤 순서로 적용할지 결정하는 고차원적 계획(Planning) 단계에서 병목 현상이 발생한다.

VTC-Bench는 이 문제를 해결하기 위해 '시각 도구 체이닝' 개념을 도입한다. 이는 단순히 도구 하나를 호출하는 것이 아니라, 이전 도구의 출력값이 다음 도구의 입력값이 되는 엄격한 기능적 의존성(Functional Dependency)을 가진다. 예를 들어, 어두운 이미지에서 글자를 읽으려면 '밝기 조절 → 이진화 → 윤곽선 추출 → OCR'과 같은 논리적 흐름이 필요하며, 모델은 이 체인을 스스로 설계해야 한다.

실험 결과, 최신 모델들도 익숙한 도구만 반복 사용하거나 중간 과정을 생략하는 '지름길 찾기(Shortcutting)' 오류를 범하는 것으로 나타났다. 이는 모델이 도구의 작동 원리를 깊이 이해하기보다 학습 데이터의 패턴에 의존하고 있음을 시사하며, 진정한 시각 에이전트로 거듭나기 위해서는 지각과 실행 계획의 유기적인 통합이 필요함을 보여준다.

방법론

32개의 OpenCV 기반 도구를 기하학(Geometry), 강화(Enhancement), 특징 추출(Feature Extraction), 그리기(Drawing)의 4개 기능 모듈로 분류하여 제공한다. 각 도구는 입력 이미지와 파라미터를 받아 처리된 이미지나 수치 데이터를 반환하는 표준화된 인터페이스를 갖춘다.

9가지 작업 카테고리를 3단계 인지 계층(Tier)으로 구조화한다. Tier 1은 지각 강화(OCR, 복원 등), Tier 2는 정량적 추정(측정, 계수 등), Tier 3은 복합 추론(차트 분석, 수학 등)을 담당하며, 각 문제에는 전문가가 검증한 정답 실행 경로(Ground-truth Trajectory)가 포함된다.

평가 지표로 Average Pass Rate(APR)를 기본으로 하되, 도구 호출률(TCR), 예측 경로와 정답 경로의 길이 차이(MAE), 유효 도구 호출 비율(Eff_tool)을 계산한다. MAE는 [예측 경로 길이와 정답 경로 길이의 차이 → 절대값 합산 → 전체 샘플 수로 나눔] 순으로 계산되어 모델이 불필요한 도구를 얼마나 많이 호출했는지 측정하며, Eff_tool은 [유효한 도구 호출 수 → 전체 도구 호출 수로 나눔]을 통해 실행의 간결성을 평가한다.

주요 결과

19개 모델 중 Gemini-3.0-Pro가 51.18%로 가장 높은 점수를 기록했으나, 이는 여전히 절반 수준에 불과하다. 대부분의 모델은 30% 내외의 점수에 머물러 복합 도구 활용이 매우 어려운 과제임을 입증했다.

폐쇄형 모델(Proprietary)은 도구 사용 시 성능이 크게 향상(GPT-4o +9.56%)된 반면, 오픈소스 모델은 도구 사용 시 오히려 성능이 저하되거나 미미한 개선에 그치는 현상이 관찰되었다. 이는 오픈소스 모델의 도구 호출 및 코드 생성 능력이 복잡한 시각 작업에 대응하기에 아직 부족함을 의미한다.

분석 결과, 모델들은 익숙한 소수의 도구(Crop, Zoom In, Rotate 등)에 과도하게 의존하며, 정답 경로가 4~~6단계인 문제에서도 1~~2단계 만에 추론을 끝내려 시도하는 경향을 보였다. 특히 정밀한 파라미터 설정이 필요한 Tier 2 작업에서 성능 저하가 뚜렷하게 나타났다.

기술 상세

VTC-Bench는 코드 기반(Code-driven)과 인터페이스 기반(Interface-driven)의 두 가지 상호작용 패러다임을 지원한다. 코드 기반은 모델이 직접 Python 코드를 작성해 OpenCV 함수를 호출하며, 인터페이스 기반은 정의된 API를 호출하는 방식이다.

데이터 수집 과정에서 웹 크롤링 이미지와 기존 데이터셋(Kaggle, ChartQA 등)을 혼합하고, 인위적인 노이즈나 기하학적 변형을 가해 모델의 복원 능력을 강제로 테스트하도록 설계했다. 모든 정답 경로는 Gemini-3.0-Pro가 초안을 작성하고 전문가가 수동으로 검증 및 수정하는 과정을 거쳤다.

모델의 실패 모드는 크게 두 가지로 분류된다. 첫째는 부적절한 도구 선택 및 좌표 계산 오류이며, 둘째는 중간 도구 출력값에 대한 과도한 신뢰로 인해 원래 이미지와의 교차 검증을 생략하는 현상이다. 이는 모델이 '도구의 결과'와 '시각적 직관' 사이의 불일치를 해결하지 못함을 보여준다.

한계점

모델들이 익숙한 소수의 도구에만 의존하는 편향성이 강하며, 정밀한 파라미터 조정이 필요한 미세 조작 작업에서 성능이 급격히 떨어진다. 또한, 긴 단계의 도구 체인을 구성할 때 중간 단계의 오류가 누적되는 병목 현상이 명확히 해결되지 않았다.

실무 활용

시각 에이전트의 실제 업무 수행 능력을 객관적으로 검증할 수 있는 표준 프레임워크를 제공한다. 개발자는 이 벤치마크를 통해 모델의 계획 수립 능력과 도구 활용의 정확도를 정밀하게 튜닝할 수 있다.

자율 주행 시스템의 복합 시각 상황 인지 능력 평가
공장 자동화 라인의 정밀 부품 측정 및 불량 검수 에이전트 테스트
복잡한 차트 및 문서 데이터 추출 자동화 파이프라인 검증
시각 장애인 보조 기기의 주변 환경 분석 및 도구 활용 시나리오 최적화

코드 공개 여부: 공개

코드 저장소 보기

키워드

MLLM(멀티모달 대형 언어 모델)Visual Agent(시각 에이전트)Tool Use(도구 활용)OpenCV(오픈 소스 컴퓨터 비전 라이브러리)Benchmark(벤치마크)

용어 해설

멀티모달 대형 언어 모델(MLLM): — 텍스트뿐만 아니라 이미지, 오디오 등 다양한 형태의 데이터를 동시에 이해하고 처리할 수 있는 인공지능 모델이다. 시각적 정보를 텍스트와 결합하여 복합적인 추론을 수행하는 현대 AI 에이전트의 핵심 두뇌 역할을 한다.
에이전트형 모델(Agentic Model): — 단순히 질문에 답하는 것을 넘어, 주어진 목표를 달성하기 위해 스스로 계획을 세우고 외부 도구를 호출하여 실행하는 능동적인 AI 모델이다. 자율적인 판단과 실행 루프를 통해 복잡한 워크플로우를 완수하는 것이 특징이다.
도구 체이닝(Tool Chaining): — 하나의 문제를 해결하기 위해 여러 개의 도구를 순차적으로 연결하여 사용하는 기법이다. 앞선 도구의 출력값이 다음 도구의 입력값으로 활용되는 연쇄적인 구조를 가지며, 복잡한 시각 추론 작업에서 필수적이다.
기능적 의존성(Functional Dependency): — 특정 도구의 실행 결과가 다음 단계 도구의 입력 데이터로 반드시 필요하게 되는 논리적 관계이다. 이 의존성이 강할수록 모델은 정확한 순서와 파라미터로 도구를 호출해야만 최종 정답에 도달할 수 있다.
오픈 소스 컴퓨터 비전 라이브러리(OpenCV): — 실시간 이미지 처리와 컴퓨터 비전 작업을 위한 방대한 함수군을 제공하는 오픈소스 라이브러리이다. 필터링, 기하학적 변환, 객체 검출 등 시각 에이전트가 활용할 수 있는 원자적 도구들의 집합체 역할을 한다.

VTC-Bench: 복합적 시각 도구 체이닝을 통한 에이전트형 멀티모달 모델 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

OmniAssistBench로 측정한 영상 보조 모델의 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

OmniAssistBench로 측정한 영상 보조 모델의 한계