See What I Mean: 비디오의 미세 객체 이해를 위한 Vision-Language 표현 정렬

MLLM은 텍스트로 언급된 객체를 특정 시각 영역에 정렬하는 능력이 불완전하다. 기존 방법은 시각 프롬프트(마스크/포인트 등)가 필요해 인터랙션과 계산 복잡성을 증가시키며, 객체 명사가 높은 수준의 의미 표현으로 인해 공간적 정합이 약해진다. SWIM은 학습 단계에서 object noun과 시각 영역 간의 정합을 명시적으로 강화해 인퍼런스 시 추가 프롬프트 없이도 미세 객체 grounding을 달성한다. NL-Refer 데이터셋의 도입으로 텍스트-시각 매핑의 가치를 높이고, 벤치마크에서 시각 프롬프트 기반 방법을 능가한다.

기존 MLLM에서 object nouns는 고수준의 의미 표현으로 인해 시각 영역과의 공간적 결합이 약하고 분포가 분산된다. 이는 attribute words가 낮은 차원의 텍스처 정보에 대해 명확한 주의 패턴을 보이는 것과 대조적이다. 연구진은 NL-Refer를 통해 각 객체의 핵심 명사를 텍스트 구성에 명시적으로 포함시키고, cross-attention에서 해당 토큰이 특정 시각 영역에 집중되도록 학습 신호를 제공한다. 이렇게 학습되면 inference 시 텍스트 프롬프트만으로도 대상 객체에 대한 정확한 시각 grounding이 가능해진다. 실험적으로 SWIM은 다층 cross-attention의 맵을 평균화한 A¯i를 Mi와 BCE로 정합시키고, 6개 레이어의 균등 분포 supervise에서 최적 성능을 얻는다. 또한 attention 정렬의 품질은 GamePoint@P, AP/AUC/NSS 등의 지표에서 향상된다.

전체 파이프라인은 아래와 같다. (1) NL-Refer 데이터셋 구성: VideoRefer에서 Hi의 을 GPT-4o가 ri로 대체하고, Mi와의 연결 고리를 위해 wi를 로 강조한다. Hhat_i = Mark(Replace(Hi, , ri), wi)로 표현한다. (2) Cross-attention 감독: 텍스트를 Lt 토큰 시퀀스로 분해하고, ji는 태깅된 명사 토큰의 인덱스이다. cross-attention에서 Ql[ji]와 Kv_l를 이용해 Al,i를 계산하고, 이를 Mi와 맞추기 위해(H, W) 해상도로 매핑한 후 Averaging S로 A¯i를 얻는다. (3) 손실: L_BCE = -1/HW Σu Σv [Mi(u,v) log A¯i(u,v) + (1-Mi(u,v)) log(1-A¯i(u,v))]를 사용한다. 이를 통해 object noun의 cross-modal grounding을 강화한다. (4) 데이터 및 학습: Qwen2.5VL-7B 기반으로 NL-Refer(125K 샘플) + LLaVA-Video 기반 QA 데이터(235K 샘플)로 총 235K 예제로 학습. 하드웨어는 8× NVIDIA A100 사용. (5) 추론: 학습 시에만 Mi가 필요하며, 추론 시에는 시각 프롬프트가 필요 없다.

주요 벤치마크에서의 성능은 다음과 같다. VideoRefer-Q에서 SWIM은 Basic에서 +5.8% 포인트, Sequential에서 +5.3% 포인트의 향상을 보였고, 평균 78.3%를 달성하며 VideoRefer-7B를 6.4% 포인트 상회한다(또한 Qwen2.5-VL-7B는 71.8, GPT-4o는 71.3). VideoRefer-D에서는 SC/AD/TD/HD의 평균 3.78로 DAM-8B의 3.68, GPT-4o의 3.25를 상회한다. 일반 벤치마크에서도 SWIM은 MVBench 62.1, VideoMME 55.9, ActivityNet-QA 55.6 등에서 경쟁력 있는 성능을 보인다. GamePoint@P 지표에서도 Top-1에서 Qwen2.5-VL 대비 +6.3%의 차이를 보이며, Top-5에서도 +5.5%의 이점을 얻는다. 스케일링 실험에서 30K→125K 데이터에서 정렬 점수는 지속적으로 증가하며, 125K에서 SWIM의 성능은 3.78로 최고치를 기록한다. Ablation 결과로는 레이어 수가 6개일 때 평균 성능이 가장 높고, 평균 융합(mean)이 다른 방법보다 우수하며, BCE 손실이 가장 안정적으로 우수한 성능을 보인다.

아키텍처: Qwen2.5VL-7B 기반의 비전 인코더와 LLM으로 구성된 멀티모달 프레임워크에 SWIM의 학습 신호를 추가한다. NL-Refer 데이터셋은 Hi의 placeholder를 ri로 대체하고 wi를 로 마킹하는 과정을 포함한다. 학습에서 cross-attention은 l번째 레이어의 쿼리 벡터 Qt_l[ji]와 시각 토큰 Kv_l를 이용해 Al,i를 계산하고, bilinear interpolation으로 (H, W) 해상도에 매핑한다. S에 속한 레이어들의 Al,i를 평균하여 A¯i를 얻고, Mi와 BCE 손실로 지도한다. 데이터 포맷은 Vi, Hi, Gi, Mi의 VideoRefer 구조를 확장한 DNL-Refer를 사용한다. 데이터 규모는 NL-Refer 125K + QA 데이터로 구성되며, 학습은 8× NVIDIA A100에서 수행된다. 기존 방법 대비 핵심 차별점은 inference 시 visual prompt 없이도 텍스트-시각 정합을 달성한다는 점이다. 실험은 VideoRefer 벤치마크를 중심으로 수행되었으며, 다른 일반 비디오 벤치마크에서도 경쟁력을 보인다.