Video-MME-Logical: 비디오 시계열 논리 추론을 위한 통제된 진단 벤치마크

비디오에서 시간 축을 따라 누적되는 증거를 유지·갱신·구성하는 능력은 인간 시각 인지의 핵심 요소이며, 현재 MLLM은 다중 프레임 입력을 단순 집계하는 수준에 머무르는 경우가 많다. 본 논문은 이 문제를 분명한 작업군과 통제된 합성 데이터로 분리하여 측정 가능한 형태로 만든다. 이를 통해 모델의 과정 수준(process-level) 실패를 규명하고 데이터 규모 확대만으로는 해결되지 않는 한계를 드러내었다.

문제 출발점은 비디오 추론에서 단일 프레임 인식과 다중 프레임의 논리적 증거 조합이 근본적으로 다르다는 점이다. 모델은 어떤 정보를 기억해야 하고, 언제 갱신해야 하며, 여러 시점의 부분 관찰을 어떻게 결합해야 하는지 결정해야 한다. 기존 벤치마크는 장면 복잡도나 이벤트 유형으로 평가를 구성하므로 이러한 과정 수준의 능력을 분리하기 어렵다.

본 논문의 해결 원리는 시간적 논리 연산을 명확한 작업 단위로 정의하고 합성 데이터를 통해 각 단위를 통제 가능한 방식으로 생성하는 것이다. Temporal-Logical Reasoning을 state tracking, sequential counting, temporal ordering, dynamic spatiality, structural composition으로 분해하고, 프로그램적 메타데이터로 중간 상태를 기록함으로써 모델이 과정(trace)을 복원하는지 검증할 수 있게 했다. 이 구성은 단순 최종 정답 일치가 아니라 과정의 정합성을 정량적으로 평가하는 근거를 제공한다.

이 접근이 달성하는 변화는 두 가지다. 첫째, 난이도와 증거 구조를 정밀하게 제어할 수 있어 어떤 요소에서 모델이 실패하는지 원인 귀속이 가능하다. 둘째, 대규모의 합성 SFT 데이터로 학습시켰을 때 일부 일반화 이득이 관찰되지만, 결과적으로 375K 수준에서 포화 현상과 성능 소멸이 발생하여 데이터 규모만으로는 장기적·구성적 추론 한계를 돌파하지 못한다. 따라서 과정 검증과 구조적 제어가 향후 모델 개선의 필수 진단 수단으로 자리잡는다.

전체 접근은 프로그램적 생성 파이프라인을 중심으로 설계되었다. 파이프라인은 네 단계로 구성된다: temporal transition은 객체의 이동·교환·출현·소멸 순서를 명시적으로 기술하고, scene configuration은 객체·색상·배경·재료·교란물을 결정하며, metadata construction은 각 전이의 정밀 타임스탬프와 상태 궤적을 기록하고, video rendering은 메타데이터를 바탕으로 30FPS MP4 영상을 생성한다. 이 입력→기록→렌더링 흐름은 난이도 제어와 중간 상태 생성을 자동화한다.

핵심 메커니즘은 task별 템플릿으로 QA와 중간 상태 레이블을 생성하는 점이다. 프로그램 기록(metadata)이 주어지면 정답과 중간 상태는 템플릿에 따라 정확히 계산된다. 이로 인해 평가 시에는 모델 출력의 구조화된 답안(예: swap 쌍 목록)과 프로그램 기록을 canonicalize하여 완전 일치 여부로 채점함으로써 과정 수준의 정확도를 측정한다.

학습 전략은 Qwen3-VL-8B 기반의 SFT 실험으로 구성되었으며, 학습 데이터는 25K, 125K, 250K, 375K, 500K로 샘플링하여 균형 있게 카테고리별 비율을 유지했다. 두 가지 학습 모드가 사용되었는데 하나는 정답만 지도하는 Instruct 모드이고 다른 하나는 reasoning trajectory를 포함하는 Thinking 모드이다. 평가 시에는 zero-shot 세팅으로 여러 공개·독점 모델을 시험하고, 영상은 2FPS로 샘플링하여 모델에게 입력을 제공했다.

평가 지표는 프로그램 유래의 정답을 이용한 exact-match accuracy이다. 객관식의 경우 선택 옵션이 정답과 정확히 일치해야 맞은 것으로 하며, 채점 대상에는 중간 상태 일치 여부도 포함된다. 중간 상태 평가는 모델이 과정을 재현하는 능력을 직접 측정하므로 최종 답 일치와 분리된 중요한 보완 지표가 된다.

메인 벤치마크 결과에서 인간은 전체 정확도 95.9%를 기록한 반면 최고 평가 모델인 gemini-3.1 Pro는 28.6%의 전체 정확도를 보였다. 모델 성능은 난이도 상승과 함께 크게 하락했으며, GPT-5.4는 easy에서 31.7%에서 hard에서 16.1%로 15.6 포인트 하락을 보였고 gemini-3.1 Pro는 33.1%에서 20.6%로 12.5 포인트 하락하였다. 이러한 수치는 장기 시간 지평과 복잡한 논리 구조에서 현행 MLLM이 여전히 큰 격차를 보인다는 사실을 수치로 뒷받침한다.

중간 상태 진단 서브셋(Video-MME-Logical-S)에서의 결과는 과정 수준의 차이를 더 뚜렷하게 드러냈다. GPT-5.4는 일부 step-subset에서 gemini-3.1 Pro보다 우수한 중간 상태 복구 성능을 보였으나 전반적인 최종 답 성능은 여전히 낮았다. 공개 모델과 독점 모델 간의 중간 상태 평가 격차가 수 배에 이르러(예: GPT-5.4가 공개 최강보다 약 4.8× 높음) 중간 상태 진단의 유용성이 확인되었다.

SFT 스케일링 실험에서 Qwen3-VL-8B 기반 모델은 25K에서 시작해 375K에서 최고 성능(39.2% 전체 정확도)을 보였고 500K에서는 성능이 소폭 감소하여 37.7%가 되었다. 이 결과는 지도적 데이터 증가가 유용하지만 빠르게 포화되며 단순한 데이터 확대만으로는 장기 시계열과 구성적 추론 문제의 근본 해결에 도달하지 못함을 시사한다.

전체 아키텍처는 프로그램적 생성기(programmatic generator)와 메타데이터 기반 렌더링 파이프라인으로 구성되었다. 각 과제의 generator는 temporal transition, scene configuration, metadata construction, video rendering 네 요소를 실행 가능한 코드로 구현하며, metadata는 초기 상태, 각 전이의 타임스탬프와 페어 정보, 최종 상태를 포함한다. 이 메타데이터가 QA, 정답 계산, 중간 상태 레이블링, 난이도 통제의 근거가 된다.

중요한 알고리즘적 측면은 정답과 중간 상태의 canonicalization 절차이다. 모델이 반환한 구조화된 출력(예: swap_pairs 리스트)을 표준 형식으로 정규화한 뒤 프로그램 기록과 바이트 단위의 exact-match를 수행한다. 이 과정은 표면 형식 차이로 인한 오답 판정을 최소화하기 위해 예측 구조의 키/값 정렬과 표기 규칙을 일관되게 적용한다.

Prior work 대비 차별점은 연산 중심의 작업 분류와 중간 상태 검증 가능성이다. 기존 벤치마크는 데이터 출처나 장면 유형으로 과제를 구성하는 반면 본 벤치마크는 수행해야 할 논리 연산을 명시하여 오류의 원인을 분리한다. 또한 프로그램적 생성으로 난이도와 증거 구조를 독립적으로 제어할 수 있어 ablation 실험과 일반화 연구에 유리하다.

구현·학습 세부사항으로는 Qwen3-VL-8B 기반의 SFT 실험이 수행되었고 학습 데이터는 카테고리별 균형을 유지하며 25K~500K의 크기로 샘플링되었다. 평가 시 영상은 2FPS로 샘플링하여 모델에 입력하였고, 채점은 exact-match accuracy를 사용하였다. 추가적인 하이퍼파라미터와 학습 스케줄은 부록에 상세히 기록되어 있다.

첫째, 데이터셋은 프로그램적 생성 합성 영상으로 구축되어 실제 자연 비디오와 시각적 외형·장면 다양성·모호성에서 차이가 있다. 이로 인해 합성에서 학습된 성능이 자연 영상으로 직접 이전되지 않을 수 있다. 둘째, SFT 스케일링 실험은 8B급 모델을 중심으로 수행되어 보다 큰 모델 스케일에서의 행동은 다를 수 있으며, 대규모 모델에서의 일반화 거동은 후속 연구가 필요하다. 셋째, 중간 상태 평가는 프로그램적 구조와 exact-match 기준에 의존하므로 동등한 의미를 다른 표기법으로 표현한 합리적 추론을 과소평가할 가능성이 있다.