VISIONCOACH: 시각적 지각 프롬프팅을 통한 근거 기반 비디오 추론 강화

비디오 추론 모델이 정답의 근거를 시공간적으로 정확히 짚어내지 못하고 환각을 일으키는 문제를 해결했다. 학습 단계에서만 시각적 가이드를 제공하고 이를 모델이 스스로 내재화하게 함으로써, 추론 속도 저하 없이도 정교한 근거 제시와 높은 정확도를 동시에 달성했다.

기존의 비디오 추론 모델은 Attention 메커니즘을 통해 시각 정보를 처리하지만, 복잡한 영상에서는 질문과 관련된 핵심 증거를 놓치고 텍스트 정보에만 의존해 잘못된 답변(Hallucination)을 내놓는 경우가 많다. 이를 해결하기 위해 마치 사람이 학생에게 중요한 부분을 짚어주듯 학습 과정에서 직접적인 시각적 가이드를 주는 방식을 도입했다.

VISIONCOACH는 학습 중에 모델이 어려워하는 샘플을 식별하고, 해당 장면에서 중요한 객체에 빨간 원을 그리거나 주변을 어둡게 만드는 '시각적 프롬프트'를 적용한다. 이는 모델이 수많은 픽셀 데이터 중 정답의 근거가 되는 특정 시점과 위치에 강제로 집중하게 만드는 역할을 한다.

가장 중요한 지점은 이 '코칭'의 효과를 모델 내부에 심는 것이다. 프롬프트가 있는 상태에서 얻은 정교한 추론 경로를 프롬프트가 없는 원본 상태에서도 재현하도록 자가 증류(Self-distillation)를 수행한다. 결과적으로 모델은 학습이 끝나면 별도의 보조 도구 없이도 스스로 영상 속 핵심 증거를 찾아내는 능력을 갖추게 된다.

VISIONCOACH는 VP-SELECTOR와 ST-REASONER라는 두 가지 핵심 모듈로 구성된다. VP-SELECTOR는 비디오와 질문을 입력으로 받아 [Input → VLM Classifier → Prompt Type] 과정을 거쳐 최적의 시각적 가이드를 결정한다. 이때 사용되는 프롬프트는 Red circle, Darken, Frame numbering 등 5가지 후보군 중 하나로 선택된다.

ST-REASONER는 강화학습(RL)을 통해 최적화되며, 네 가지 보상 요소의 합으로 학습된다. 특히 새롭게 제안된 객체 인식 기반 공간 보상($r_{spa}$)은 [예측된 객체명과 실제 정답의 일치 여부 확인 → 시간적 오차가 임계값 $\tau$ 이내인 프레임 선별 → 해당 프레임들의 IoU 계산 → 전체 평균 산출] 순으로 계산되어 다중 객체 추적의 정확도를 높인다.

학습의 마지막 단계인 자가 증류에서는 프롬프트가 적용된 입력($x'$)에서 생성된 고득점 궤적을 타겟으로 설정한다. 모델은 원본 입력($x$)에 대해 동일한 궤적을 생성할 확률인 $\log \pi_\theta(y'_{i,j,t} | y'_{i,j,<t}, x'_i, q'_i)$를 최대화하도록 가중치를 갱신하며, 이를 통해 시각적 가이드 없이도 정교한 추론 능력을 내재화한다.

V-STAR 벤치마크 실험 결과, VISIONCOACH는 Qwen2.5-VL-7B 모델 대비 VQA 정확도를 27.6% 향상시켰으며, 종합 성능 지표인 mAM에서 15.0%, mLGM에서 25.1%의 압도적인 성능 향상을 기록했다. 이는 상용 모델인 GPT-4o의 성능을 뛰어넘는 수치이다.

VideoMME 및 WorldSense와 같은 일반 비디오 이해 벤치마크에서도 기존의 도구 호출(Tool-calling) 방식 모델들보다 높은 정확도를 기록했다. 특히 PerceptionTest의 인식(Recognition) 카테고리에서 큰 폭의 성능 향상을 보여, 시공간 그라운딩 능력이 실제 비디오 답변 정확도로 직결됨을 확인했다.

효율성 측면에서도 단일 추론 경로(Single forward pass)만을 사용하므로, 반복적인 도구 호출이 필요한 기존 방식 대비 추론 지연 시간(Latency)을 대폭 단축하면서도 높은 정확도를 유지하는 데 성공했다.

전체 아키텍처는 GSPO(Group Sequence Policy Optimization) 강화학습 알고리즘을 기반으로 하며, 비디오 추론 궤적을 최적화하는 데 초점을 맞춘다. VP-SELECTOR는 Qwen2.5-VL-3B 모델을 LoRA로 파인튜닝하여 구축되었으며, 8,000개 이상의 비디오-질문 쌍으로 구성된 데이터셋을 통해 최적의 프롬프트를 예측하도록 학습되었다.

보상 설계 측면에서 $r_{spa}$는 Soft Identity Matching 기법을 도입했다. 이는 예측된 객체명이 정답의 부분 문자열이거나 정확히 일치할 때만 보상을 부여함으로써, 모델이 단순히 박스 위치만 맞히는 것이 아니라 객체의 종류를 정확히 인지하도록 강제한다. 또한 시간적 게이팅(Temporal Gating)을 통해 시간적 위치가 틀린 예측은 공간 보상 계산에서 제외하여 시공간적 정렬을 강화했다.

학습 데이터로는 STGR-RL-36k 데이터셋을 활용했으며, 8개의 NVIDIA GPU 환경에서 DeepSpeed ZeRO-3 최적화를 적용해 효율적인 학습을 진행했다. 자가 증류 시에는 상위 2개의 고득점 궤적만을 선별하여 학습 신호의 품질을 유지했다.

본 연구는 학습 과정에서 객체 박스 및 시간 구간에 대한 정교한 어노테이션이 포함된 데이터셋에 의존한다. 또한 현재 제공되는 시각적 프롬프트의 종류가 미리 정의된 5가지로 제한되어 있어, 보다 복잡하거나 새로운 형태의 시각적 가이드를 생성하는 능력은 아직 부족하다.