증거 기반 비디오 질문응답 (E-VQA): 시공간 마스크렛에 의한 근거 검증

왜 중요한가

비디오 질문응답 시스템은 텍스트 정답만으로는 모델의 시각적 인지를 검증하기 어렵기 때문에 실제 적용에서 신뢰성 문제가 발생한다. 이 논문은 정답뿐 아니라 시간 구간과 픽셀 단위의 시공간 마스크를 동시에 출력하게 함으로써 모델 출력의 검증 가능성을 확보했다. 자율주행, 의료 영상 분석, 인간-로봇 협업처럼 근거가 필수적인 도메인에서 비디오 모델의 투명성과 디버깅 가능성을 크게 향상시킬 수 있다.

핵심 기여

E-VQA 과제의 형식화

E-VQA는 질문에 대한 텍스트 정답과 함께 정답을 뒷받침하는 시간적 증거(비중복 타임세그먼트)와 공간적 증거(시공간 마스크lets)를 하나의 출력 삼중항으로 요구하는 과제 포맷을 제안했다. 이 형식은 단순히 정답 위치를 찾는 것을 넘어서 정답을 도출한 시각적 근거를 픽셀 수준에서 제시하도록 요구함으로써 언어적 편향을 억제한다. 벤치마크 설계는 생성형(ST-Evidence-Gen)과 판별형(ST-Evidence-MCQ) 변형을 모두 포함해 다양한 모델 아키텍처와 평가 프로토콜을 수용했다.

ST-Evidence 벤치마크의 구축

ST-Evidence는 엄격한 샘플링-주석-검증의 세 단계 반자동 파이프라인으로 구축된 인간 검증 시공간 증거 데이터셋이다. 마스크 주석은 6 FPS의 밀집 샘플링으로 수집되고 PhD 수준의 검토자가 재주석을 요구할 수 있어 높은 품질 표준을 유지했다. 이 벤치마크은 생성형과 다지선다형 변형을 제공해 정답 정확도뿐 아니라 시간·공간 증거의 정밀도를 함께 평가한다.

ST-Evidence-Instruct 대규모 지시조정 데이터셋

저자는 자동화된 병렬 파이프라인을 통해 160k개의 (Q,A,E_t,E_s) 삼중항을 합성하여 ST-Evidence-Instruct를 생성했다. 생성 경로는 기존의 마스크 보유 데이터에서 질문을 생성하는 경로와 기존 QA에서 마스크를 생성하는 경로로 나뉘며, VLM과 SAM-3 등 도구를 조합해 대규모 정렬 데이터를 확보했다. 해당 데이터로 사전학습된 모델은 밀집 시공간 근거 성능에서 유의미한 향상을 보였다.

근거 기반 Fine-tuning으로 성능 향상 검증

UniPixel 아키텍처를 기반으로 한 저자 모델을 ST-Evidence-Instruct로 파인튜닝하면 동일 규모의 UniPixel 대비 시간적 증거(t-mean)와 공간적 증거(𝒥 & ℱ)에서 큰 폭의 개선이 관찰되었다. 예를 들어 7B 모델에서 t-mean은 +27.2, 𝒥 & ℱ는 +13.8 증가한 점을 보고했다. 자동화 파이프라인 결과(𝒥 & ℱ=62.8)와 비교 실험을 통해 데이터 중심 접근이 실제 성능 향상에 기여했음이 확인됐다.

핵심 아이디어 이해하기

출발점과 기존 한계는 다음과 같다. 기존의 Video LLM은 질문에 대해 문장 형태의 답변을 생성하지만 그 답이 실제 영상의 어떤 시공간적 증거에 기반했는지를 제공하지 못하였다. 이로 인해 모델이 언어적 사전확률이나 추론상의 휴리스틱에 의존할 위험이 존재했고, 복잡한 동적 장면에서의 오류 원인 추적과 신뢰성 확보가 불가능했다. 특히 가려짐, 비선형 변형, 객체 간 교차 상황에서는 키프레임 바운딩박스와 같은 희박한 근거가 충분하지 않았다.

방법론

전체 접근 방식에서 핵심은 QA와 밀집 시공간 근거를 하나의 학습 목표로 결합한 데이터와 평가 프로토콜이다. 논문은 샘플-주석-검증의 세 단계로 이루어진 ST-Evidence 구축 절차를 운용했고, 밀집 마스크는 6 FPS로 어노테이션하여 시간적 연속성을 확보했다. 생성형과 판별형 두 변형을 통해 모델이 자유 형식으로 증거를 합성하는 능력과 후보 중에서 올바른 증거를 식별하는 능력을 각각 평가했다.

핵심 메커니즘의 상세는 데이터 생성 파이프라인에 있다. ViCaS 같은 마스크 보유 데이터에서는 VLM을 이용해 질문·정답·오답 후보를 생성하고, 타임스탬프 예측으로 시간 증거를 확보한 다음 기존 마스크를 증거로 연결했다. QA 중심 데이터에서는 VLM으로 증거 객체를 식별하고 바운딩박스를 생성한 뒤 SAM-3를 이용해 바운딩박스 기반 마스크 전파를 수행해 시공간 마스크를 합성했다. 이 과정에서 바운딩박스 이상치(면적 비율·종횡비 등)를 필터링하고 IoU>0.9인 중복 마스크는 제거했다.

학습과정은 멀티태스크 손실로 구성되며 답변·시간 구간은 토큰 예측 손실로, 마스크는 마스크 디코더 손실로 최적화했다. 저자들은 LoRA로 시각 인코더와 LLM의 일부를 효율적으로 튜닝하면서 마스크 디코더는 완전 학습했다. 또한 자동 생성된 160k 샘플(ST-Evidence-Instruct)과 기존 분할·이해 데이터셋을 혼합해 과적합을 억제하고 범용성을 유지했다.

주요 결과

메인 벤치마크 결과는 다음과 같다. ST-Evidence-Gen에서 closed-source 모델인 Gemini-2.5-Pro가 QA와 시간증거(t-mean=49.9)에서 상위를 차지했고, Qwen3-VL-235B-A22B는 개방형 모델 중에선 전반적으로 높은 성능을 보였다. 공간 증거(𝒥 & ℱ)에서는 Gemini-2.5-Pro가 44.0을 기록했고 UniPixel-3B는 42.7로 개방형 모델 대비 견조한 성능을 유지했다.

파인튜닝 효과는 크다. 저자들이 UniPixel 기반으로 ST-Evidence-Instruct로 파인튜닝한 결과 7B 모델에서 t-mean이 +27.2, 𝒥 & ℱ가 +13.8 향상되었고 3B 모델에서도 유의미한 향상이 관찰되었다. 자동화 파이프라인의 출력 자체도 평가되어 𝒥 & ℱ 62.8을 달성했고 이는 인간 검증 벤치마크와 비교해 파이프라인의 실용성을 뒷받침했다.

추가 분석에서는 증거 오염 실험을 통해 주석 마스크의 증거성이 검증되었다. 예증적으로 Gemini-2.5-Flash는 원본에서 81.32였던 QA 정확도가 증거 마스크를 훼손하면 61.12로 20.20 포인트 하락했고 Qwen3-VL-8B는 79.31에서 58.32로 20.99 포인트 하락했다. 이 실험 결과는 어노테이션된 마스크가 실제로 질문 해결에 핵심적인 시각 정보를 포함함을 보여준다.

기술 상세

전체 아키텍처 구조는 Multimodal LLM과 분할 디코더의 결합으로 구성된다. 저자들은 Qwen2.5-VL(3B/7B)을 기반 Multimodal LLM으로 사용하고 SAM-2.1-Base+ 또는 SAM-3 같은 분할 모듈을 마스크 디코더로 결합한 UniPixel 계열을 확장했다. 입력은 비디오 프레임과 질문 텍스트이며 모델은 토큰 예측으로 답변·시간 구간을, 마스크 디코더로는 시공간 마스크를 출력한다.

한계점

저자들이 명시한 한계는 다음과 같다. 대규모 고품질 시공간 마스크 주석은 극도로 비용 집약적이며 많은 자동화 보조가 필요했기 때문에 데이터 합성 파이프라인의 품질이 성능에 중요한 역할을 한다고 보고되었다. 또한 단순한 파라미터 스케일링만으로는 E-VQA의 시공간 근거 문제를 해결하기 어렵다는 관찰이 있어 아키텍처적 혁신과 명확히 정렬된 학습 목표가 필요하다고 명시되었다. 마지막으로 현재의 Grounded Video LLM은 긴 멀티태스크 지시에 취약하여 생성형 마스크 예측에서 출력 포맷·길이 제약으로 인한 성능 저하가 발생할 수 있다.

실무 활용

ST-Evidence와 ST-Evidence-Instruct는 비디오 기반 의사결정에서 투명성과 검증 가능성을 필요로 하는 응용에 적용 가능하다. 특히 시간·공간 근거를 요구하는 도메인에서 모델의 오작동 원인 추적과 규제 준수를 지원할 수 있다. 공개된 코드와 데이터를 통해 연구·개발 파이프라인에 직접 통합하여 근거 기반 평가 체계를 구축할 수 있다.

자율주행 시나리오에서 특정 사고 원인을 답변과 함께 해당 시간 구간 및 마스크로 제공하여 사고 재현과 책임 추적을 지원하는 타당성 검증 도구
의료 수술 영상 분석에서 특정 절차 단계와 관련된 시공간적 증거를 함께 제시해 판독의 설명 가능성을 확보하는 보조 시스템
인간-로봇 협업 로그에서 오류 원인 식별을 위해 로봇의 행동과 환경 상호작용을 시공간 마스크로 기록·검증하는 디버깅 워크플로

코드 공개 여부: 공개

코드 저장소 보기

키워드

Video LLM(비디오 대형 언어 모델)E-VQA(증거 기반 비디오 QA)Spatio-Temporal Segmentation(시공간 분할)Masklet(마스크렛)Instruction Tuning(명령어 조정)

용어 해설

마스크렛(Masklet): — 마스크렛은 비디오에서 객체를 시공간적으로 추적하기 위해 프레임 연속성으로 연결된 픽셀 단위 분할 마스크 집합이다. 이 논문에서는 밀집한 픽셀 분할을 시공간적으로 연속된 단위로 취급하여 객체의 형태 변화와 가려짐을 보존하는 증거로 사용한다. masklet은 정답의 시각적 근거를 검증 가능하게 만들기 때문에 언어적 추정이나 바이어스를 넘어선 설명 가능성 확보에 핵심적이다.
시공간 분할(Spatio-Temporal Segmentation): — 시공간 분할은 비디오에서 시간 축을 따라 연속적으로 나타나는 객체 영역을 픽셀 단위로 분할하고 추적하는 처리이다. 입력으로 연속 프레임을 받고 객체 마스크를 추론하여 시간에 걸친 객체 위치와 형태 변화를 출력하며, 행동 인과 관계와 같은 고차원적 추론의 근거로 쓰인다. 본 논문에서는 6 FPS 샘플링 단위로 밀집한 마스크를 생성하여 복잡한 동적 장면을 다루었다.
시간적 교집합비(tIoU)(tIoU): — tIoU는 예측한 시간 구간과 정답 구간의 교집합을 합집합으로 나눈 값으로서 시간적 정밀도를 측정한다. 입력으로 예측 시작·종료 타임스탬프와 정답 타임스탬프를 받아 교집합/합집합을 계산해 0~1 범위의 점수를 출력하며, 높은 값은 모델이 질문 해결에 필요한 핵심 시간대를 정확히 선택했음을 의미한다. 본 벤치마크의 시간 증거 평가는 tIoU와 IoP(Intersection over Prediction)를 병행했다.
𝒥 & ℱ 지표(𝒥 & ℱ): — 𝒥는 영역 유사성(Intersection-over-Union)을, ℱ는 마스크 경계 정밀도를 결합해 분할 성능을 종합적으로 평가하는 지표이다. 입력으로 예측 마스크와 정답 마스크를 받고 두 성분을 계산한 후 평균화하여 출력하며, 높은 값은 객체 형태와 경계가 잘 일치함을 의미한다. 본 논문은 S-Evidence 성능을 𝒥 & ℱ로 보고해 공간적 근거의 픽셀 수준 정확도를 정량화했다.

증거 기반 비디오 질문응답 (E-VQA): 시공간 마스크렛에 의한 근거 검증

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

주석을 정답 rollout으로 쓰는 비디오 강화학습

AutoGaze: 비디오 이해 모델을 위한 시공간적 중복성 제거 및 가속화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

주석을 정답 rollout으로 쓰는 비디오 강화학습

AutoGaze: 비디오 이해 모델을 위한 시공간적 중복성 제거 및 가속화