ViMU: 비디오 은유적 이해 벤치마크

비디오 콘텐츠는 시각적 요소뿐 아니라 문화적 맥락과 사회적 신호를 통해 은유적 의미를 전달한다. ViMU는 앞선 영상 이해 벤치마크가 포착하지 못하는 은유적 서브텍스트를 체계적으로 평가하기 위한 다중 태스크 벤치마크를 제시하며, 588개 비디오와 2,352개 문항으로 구성된다. 이를 통해 프런티어 모델이 표면적 인식을 넘어 내부적 의도와 문화적 맥락을 해석하는 능력을 진단한다.

1. 영상 이해는 표면적 콘텐츠를 넘어서는 은유적 서브텍스트를 필요로 한다. 기존 방식은 물체 인식, 행동 추적 등 표면 정보를 중시하는 경향이 크다. 2) ViMU는 은유적 이해를 평가하는 체계로, 시각-청각-텍스트를 통합한 다중 모달 증거를 바탕으로 컨텍스트, 문화 맥락, 그리고 창작자의 의도를 추론하도록 설계했다. 3) 4가지 과제(RM, SV, EG, OE)와 두 축의 지표를 통해 모델의 서브텍스트 해석 능력의 강점과 약점을 식별하고, 도메인에 따라 일반 영상 이해와의 차이를 분석한다.

Stage 1: Multimodal Evidence Extraction — 모든 비디오에서 균일 샘플링 프레임 Fi와 오디오 전사 ti를 추출해 Ei = {Fi, ti}를 구성한다. Stage 2: LLM-based Taxonomy Annotation — GPT-5.4를 사용해 Ti를 산출하고, Ti에는 LiteralContent와 IntendedMeaning, 그리고 수사 기법(Rhetoric Mechanisms) 및 사회 가치 신호(Social Value Signals)가 포함된다. Stage 3: LLM-based Hint-Free Question Generation — Ti를 기반으로 qi, ai를 생성하되 힌트가 되지 않도록 prompts를 구성한다. Stage 4: Iterative Validation — 질의-qi에 대해 hLLM 피드백을 받아 Q(k+1)로 갱신, 최대 3회 반복. Stage 5: Evidence and Task Construction — Ti를 바탕으로 5가지 증거 소스와 4개 태스크(EG, RM, SV, OE) 구성. Stage 6: Filtering & Human Validation — 충분한 자기 포함성과 해석의 명확성 확보를 위해 5명의 인간 전문 검토자에 의해 최종 벤치마크 확정. 학술적 태스크의 정의는 OE(해석 수준 이해), EG(근거 제시), RM(Rhetoric Mechanism Identification), SV(Social Value Identification)로 구성된다.

주요 결과로, 현재 최전선 모델은 은유적 이해에서 평균 성능이 50% 미만이다. OE에서 GPT-5.2가 최고치에 근접하는 약 6070%대의 성과를 보였고 EG에서도 유의미한 성과를 보였으나 RM 및 SV에서는 약 2030%대에 머무르는 경향을 보였다. 모델 간 강점은 다르며, 일반 영상 이해에서 잘하는 모델이 은유적 해석에 강하지 않다. Evidence Grounding 분석에서 모델은 증거 선택에서 보수적으로 접근하는 경향이 강하고, 프롬프트 안내 여부에 따른 글로벌 구조 개선은 제한적이다. 전체적으로 RM/SV 태스크와 EG 태스크 사이의 성능 차이가 뚜렷하며, RM/SV에서의 에러는 주로 잘못된 범주 예측보다는 근거 누락에서 기인한다.

ViMU는(1) 증거 소스의 프레임/오디오/텍스트를 결합한 다중모달 Ei를 구성하고, (2) 프런티어 모델로 Ti를 산출하는 LLM 기반 분류 체계를 도입하며, (3) Ti를 바탕으로 질의-응답 쌍(Qi, Ai)을 생성하고 반복적으로 교정하는 QA 생성 파이프라인을 사용한다. (4) 최종적으로 3개의 구조화된 과제(EG, RM, SV)와 1개의 개방형 과제(OE)로 구성된 4종 태스크를 제시한다. (5) RM/SV는 다수의 옵션 중 다중 선택 문제로 구성되고, EG는 증거 소스의 co-선택 패턴을 분석한다. (6) 데이터 큐레이션은 5단계의 파이프라인으로 수행되며, K <= 3의 반복 루프를 통해 힌트 없는 QA를 확보한다.

주관적 해석의 여지가 여전히 남아 있으며, 벤치마크의 성능이 실제 사회적 이해를 완전히 대변하지는 않는다. 데이터 수집 및 주석 과정에서 annotator bias가 존재할 수 있으며, 벤치마크의 과도한 학습/훈련용 데이터화에 대한 주의가 필요하다. 또한 힌트-free 설계에도 해석의 편향 가능성이 존재하며, 벤치마크의 구조적 한계로 인해 특정 문화권의 은유적 코드를 충분히 포착하지 못할 수 있다.