Video-Oasis: 비디오 이해 평가 기준 재검토를 위한 진단 수트

비디오 이해 모델의 향상은 시각적 인식과 시간적 추론을 결합하는 능력에 의존한다는 점에서 중요하다. Video-Oasis는 기존 벤치마크에서 많은 샘플이 실제로는 시각 또는 시간적 의존성을 요구하지 않음을 밝혀 모델 성능 수치가 과대평가될 가능성을 드러냈다. 이 결과는 향후 벤치마크 설계와 알고리즘 개발 방향이 시공간적 어려움을 명확히 측정할 수 있도록 재조정되어야 함을 의미한다.

비디오 이해는 공간적 인식과 시간적 추론이 결합되어야 해결 가능한 과제이다. 그러나 자동화된 벤치마크 생성 과정에서 텍스트 전사, 요약 캡션, 단일 키프레임 기반 질문 생성 등이 섞이면서 일부 샘플은 실질적 시각 증거나 시간적 흐름을 요구하지 않게 되었다. 이러한 샘플이 전체 평가에 포함되면 모델의 시공간 능력을 정확히 측정할 수 없게 된다. Video-Oasis의 출발점은 '어떤 샘플이 실제로 시각·시간 의존적인가'라는 질문이다. 이를 위해 입력을 의도적으로 약화하거나 교란하여 모델이 텍스트만으로, 혹은 프레임 순서 없이도 정답을 맞출 수 있는지를 확인한다. 모델이 교란된 입력에서도 일관되게 정답을 맞추면 그 샘플은 비디오-고유 과제가 아닐 가능성이 크다. 이 접근은 단순한 통계적 보정이 아니라 판별 가능한 진단 프로토콜을 통해 데이터셋을 정제하는 방법이다. 진단을 거쳐 남는 샘플들은 시간 연속성, 인과 상호작용, 다중 사건 처리와 같이 진정한 비디오 난제를 포함하므로 이러한 집합을 테스트베드로 삼아 알고리즘의 시공간적 강인성을 평가할 수 있다. 결과적으로 이 논문은 벤치마크 자체의 구성 방식이 평가 결과에 큰 영향을 미치며, 벤치마크의 설계 결함을 제거해야만 모델 간의 성능 비교가 의미를 가진다는 점을 실증적으로 보였다.

Video-Oasis는 세 가지 진단 축으로 구성되어 진단별로 구체적 개입을 수행한다. 시각 의존성 검증은 원본 비디오 대신 질문과 정답 옵션만(Blind), 오디오 전사(Audio), 고정 간격으로 추출한 캡션 요약(Summary)을 제공하여 텍스트 기반 단서로 해결 가능한 샘플을 분리한다. 시간 의존성 검증은 중간 프레임만 제공하는 Center-Frame, 프레임 순서를 무작위로 섞는 Frame Shuffling, 순서를 고려하지 않는 Bag-of-Frames 유사도 매칭을 사용하여 시간적 인과가 필요한지를 판별한다. 세 번째 축인 주석 신뢰성 검사는 모델 간 합의(consensus)와 중복성(redundancy), 민감도(sensitivity)를 이용하여 애매한 어노테이션을 자동으로 표식하고 인간 검토로 정제한다. 구체적으로 다수 모델이 정답을 맞추지 못하거나 여러 구간에서 동일한 답이 도출되면 사람이 재검토하여 잘못된 라벨, 모호한 주체, 시간적 불명확성을 보정했다. 이 절차는 자동 판별의 오탐(false positive)을 낮추기 위해 설계되었다. 진단은 14개 벤치마크 전반에 걸쳐 수행되었고, 각 테스트별로 모델 집단을 달리하여 교차 모델 합의를 산출했다. 샘플을 shortcut으로 분류하는 합의 임계값을 변경(c ≥ 1, c ≥ 2, c = 3)하여 민감도 분석을 수행했고, 식별된 shortcut의 유효성을 별도 모델군으로 검증하여 상관률(correlation rate)을 계산했다.

진단 결과 전체적으로 14개 벤치마크에서 약 55%의 샘플이 시각 또는 시간적 의존성 없이 해결 가능하다는 결론이 도출되었다. 테스트별 집계에서 Summary, Center-Frame, Frame Shuffling이 고유한 shortcut 기여의 다수를 차지했으며, Blind·Audio·Bag-of-Frames도 비중 있는 기여를 보였다. 이러한 분포는 벤치마크 생성 파이프라인에서 키프레임 기반 질문이나 전사 기반 질문 생성의 영향이 크다는 점을 시사한다. 벤치마크별로는 shortcut 비율이 높은 데이터셋이 더 높은 보고 정확도를 보이는 상관관계가 관찰되었다. 합의 임계값을 완화하면 평균 92.7%까지 한 개 이상의 진단에서 shortcut으로 분류되는 샘플 비율이 증가했고, 엄격한 임계값(c = 3)에서는 각 그룹별로 44.6%~63.0% 범위의 shortcut 비율이 관찰되었다. 이 수치는 벤치마크 성과가 부분적으로 비디오-고유 어려움이 아닌 구조적 편향에 의해 향상되었을 가능성을 뒷받침한다. 진단 후 남은 비디오-고유 샘플에 대해 평가한 결과 최신 Video-LLM 성능이 무작위 추측에 가까운 수준으로 하락했다. 또한 shortcut으로 식별된 샘플의 유효성 검증에서 평균 상관률이 약 76%로 보고되어 진단의 신뢰도는 비교적 높았지만 완전하지는 않았다.

진단 수트는 입력 변형과 모델 합의를 결합한 규칙 기반 파이프라인으로 구성되어 있다. 시각 의존성 테스트는 Blind, Audio, Summary 세 가지 변형을 사용하며 Summary는 고정 간격 캡션을 연결한 텍스트 시퀀스를 모델에 제공하는 방식으로 구현되었다. 시간 의존성 테스트는 Center-Frame, Frame Shuffling, Bag-of-Frames를 포함하며 Bag-of-Frames는 CLIP 계열 인코더(예: CLIP, Long-CLIP, EVA-CLIP)를 사용하여 프레임 간 유사도 기반 매칭을 수행한다. 교차 모델 합의는 서로 다른 Video-LLM과 VLM 집단을 사용해 동일 샘플에 대한 정답 일관성을 평가한다. 합의 임계값 c를 조정하여 민감도 분석을 수행했으며 c ≥ 1, c ≥ 2, c = 3의 세 조건에서 shortcut 비율을 비교했다. 식별된 shortcut 샘플의 타당도를 별도 모델군으로 재평가하여 correlation rate를 산출했고 평균 76%의 상관률이 보고되었다. 주석 정제 단계에서는 자동 표식된 사례를 인간 검토자가 확인하여 잘못된 시점 라벨, 주체 모호성, 프레임 섞기에서의 민감도 오류 등을 보정했다. 이 수작업 정제는 Frame Shuffling의 오탐을 낮추는 sensitivity 검사와 redundancy 및 consistency 검사의 결과를 보완하는 역할을 했다. 실험 설정과 모델 목록, 상세 매개변수는 보충 자료의 Sec. C에 기록되어 있다.

진단 절차는 입력을 인위적으로 교란하는 방식에 의존하므로 일부 성공 사례는 실제로 시간이 필요하지만 우연히 텍스트 단서로도 해결되는 경우를 포함할 수 있다. 논문은 이러한 오탐 문제를 완화하기 위해 인간 검토와 교차 모델 검증을 도입했지만 완전한 자동 판별을 보장하지는 못한다고 명시했다. 또한 식별된 shortcut의 correlation rate가 평균 76%에 머문다는 점은 진단 결과가 높은 신뢰도를 가지지만 일부 오류를 포함함을 의미한다.