증거 기반 비디오 질문응답 (E-VQA): 시공간 마스크렛에 의한 근거 검증

비디오 질문응답 시스템은 텍스트 정답만으로는 모델의 시각적 인지를 검증하기 어렵기 때문에 실제 적용에서 신뢰성 문제가 발생한다. 이 논문은 정답뿐 아니라 시간 구간과 픽셀 단위의 시공간 마스크를 동시에 출력하게 함으로써 모델 출력의 검증 가능성을 확보했다. 자율주행, 의료 영상 분석, 인간-로봇 협업처럼 근거가 필수적인 도메인에서 비디오 모델의 투명성과 디버깅 가능성을 크게 향상시킬 수 있다.

출발점과 기존 한계는 다음과 같다. 기존의 Video LLM은 질문에 대해 문장 형태의 답변을 생성하지만 그 답이 실제 영상의 어떤 시공간적 증거에 기반했는지를 제공하지 못하였다. 이로 인해 모델이 언어적 사전확률이나 추론상의 휴리스틱에 의존할 위험이 존재했고, 복잡한 동적 장면에서의 오류 원인 추적과 신뢰성 확보가 불가능했다. 특히 가려짐, 비선형 변형, 객체 간 교차 상황에서는 키프레임 바운딩박스와 같은 희박한 근거가 충분하지 않았다.

전체 접근 방식에서 핵심은 QA와 밀집 시공간 근거를 하나의 학습 목표로 결합한 데이터와 평가 프로토콜이다. 논문은 샘플-주석-검증의 세 단계로 이루어진 ST-Evidence 구축 절차를 운용했고, 밀집 마스크는 6 FPS로 어노테이션하여 시간적 연속성을 확보했다. 생성형과 판별형 두 변형을 통해 모델이 자유 형식으로 증거를 합성하는 능력과 후보 중에서 올바른 증거를 식별하는 능력을 각각 평가했다.

핵심 메커니즘의 상세는 데이터 생성 파이프라인에 있다. ViCaS 같은 마스크 보유 데이터에서는 VLM을 이용해 질문·정답·오답 후보를 생성하고, 타임스탬프 예측으로 시간 증거를 확보한 다음 기존 마스크를 증거로 연결했다. QA 중심 데이터에서는 VLM으로 증거 객체를 식별하고 바운딩박스를 생성한 뒤 SAM-3를 이용해 바운딩박스 기반 마스크 전파를 수행해 시공간 마스크를 합성했다. 이 과정에서 바운딩박스 이상치(면적 비율·종횡비 등)를 필터링하고 IoU>0.9인 중복 마스크는 제거했다.

학습과정은 멀티태스크 손실로 구성되며 답변·시간 구간은 토큰 예측 손실로, 마스크는 마스크 디코더 손실로 최적화했다. 저자들은 LoRA로 시각 인코더와 LLM의 일부를 효율적으로 튜닝하면서 마스크 디코더는 완전 학습했다. 또한 자동 생성된 160k 샘플(ST-Evidence-Instruct)과 기존 분할·이해 데이터셋을 혼합해 과적합을 억제하고 범용성을 유지했다.

메인 벤치마크 결과는 다음과 같다. ST-Evidence-Gen에서 closed-source 모델인 Gemini-2.5-Pro가 QA와 시간증거(t-mean=49.9)에서 상위를 차지했고, Qwen3-VL-235B-A22B는 개방형 모델 중에선 전반적으로 높은 성능을 보였다. 공간 증거(𝒥 & ℱ)에서는 Gemini-2.5-Pro가 44.0을 기록했고 UniPixel-3B는 42.7로 개방형 모델 대비 견조한 성능을 유지했다.

파인튜닝 효과는 크다. 저자들이 UniPixel 기반으로 ST-Evidence-Instruct로 파인튜닝한 결과 7B 모델에서 t-mean이 +27.2, 𝒥 & ℱ가 +13.8 향상되었고 3B 모델에서도 유의미한 향상이 관찰되었다. 자동화 파이프라인의 출력 자체도 평가되어 𝒥 & ℱ 62.8을 달성했고 이는 인간 검증 벤치마크와 비교해 파이프라인의 실용성을 뒷받침했다.

추가 분석에서는 증거 오염 실험을 통해 주석 마스크의 증거성이 검증되었다. 예증적으로 Gemini-2.5-Flash는 원본에서 81.32였던 QA 정확도가 증거 마스크를 훼손하면 61.12로 20.20 포인트 하락했고 Qwen3-VL-8B는 79.31에서 58.32로 20.99 포인트 하락했다. 이 실험 결과는 어노테이션된 마스크가 실제로 질문 해결에 핵심적인 시각 정보를 포함함을 보여준다.

전체 아키텍처 구조는 Multimodal LLM과 분할 디코더의 결합으로 구성된다. 저자들은 Qwen2.5-VL(3B/7B)을 기반 Multimodal LLM으로 사용하고 SAM-2.1-Base+ 또는 SAM-3 같은 분할 모듈을 마스크 디코더로 결합한 UniPixel 계열을 확장했다. 입력은 비디오 프레임과 질문 텍스트이며 모델은 토큰 예측으로 답변·시간 구간을, 마스크 디코더로는 시공간 마스크를 출력한다.

저자들이 명시한 한계는 다음과 같다. 대규모 고품질 시공간 마스크 주석은 극도로 비용 집약적이며 많은 자동화 보조가 필요했기 때문에 데이터 합성 파이프라인의 품질이 성능에 중요한 역할을 한다고 보고되었다. 또한 단순한 파라미터 스케일링만으로는 E-VQA의 시공간 근거 문제를 해결하기 어렵다는 관찰이 있어 아키텍처적 혁신과 명확히 정렬된 학습 목표가 필요하다고 명시되었다. 마지막으로 현재의 Grounded Video LLM은 긴 멀티태스크 지시에 취약하여 생성형 마스크 예측에서 출력 포맷·길이 제약으로 인한 성능 저하가 발생할 수 있다.