NTIRE 2026 비디오 시각적 주의 집중 예측 챌린지: 방법론 및 결과

비디오 내에서 인간이 어디를 집중해서 보는지 예측하는 기술은 효율적인 영상 압축과 자율주행, 미디어 편집의 핵심 기술이다. 이 논문은 2,000개의 대규모 비디오 데이터셋을 기반으로 최신 VLM과 확산 모델을 활용한 시각적 주의 집중 예측의 최신 기술적 도약을 보여준다.

비디오 시각적 주의 집중 예측은 단순히 눈에 띄는 색상이나 밝기를 찾는 것을 넘어, 시간에 따른 물체의 움직임과 맥락을 이해해야 한다. 기존 모델들은 정적인 이미지 특징에 의존하거나 단순한 순환 신경망(RNN)으로 시간 정보를 처리하여 복잡한 동적 장면에서 한계를 보였다.

이 문제를 해결하기 위해 본 챌린지의 상위 모델들은 대규모 비디오 언어 모델(VLM)의 사전 학습된 시공간 표현(Spatiotemporal Representation)을 활용한다. 예를 들어, InternVideo2나 V-JEPA2와 같은 모델은 수많은 비디오 데이터를 통해 물체가 어떻게 움직이고 상호작용하는지에 대한 '물리적 직관'을 이미 학습한 상태다.

이러한 강력한 백본 위에 LoRA와 같은 효율적인 파인튜닝 기법을 적용하고, 서로 다른 층(Layer)에서 추출된 저수준의 세부 특징과 고수준의 의미론적 정보를 계층적으로 결합(Hierarchical Fusion)함으로써, 인간이 복잡한 영상 속에서 특정 대상을 추적하는 메커니즘을 정밀하게 모방한다.

챌린지 우승팀인 iLearn의 방법론은 InternVideo2-Stage2 6B 백본을 기반으로 두 개의 상호 보완적인 디코더를 사용하는 구조다. 백본의 11, 23, 35, 47번 레이어에서 특징을 추출하여 저수준 공간 정보부터 고수준 의미 정보까지 모두 활용한다.

첫 번째 디코더는 Temporal-Modulated Decoder로, 가장 깊은 레이어의 특징으로부터 시간적 주의 집중 맵을 생성한다. [입력 특징 벡터 → 3D 컨볼루션 및 풀링 → 시간적 가중치 산출 → 얕은 레이어 특징에 곱셈 연산 수행] 과정을 통해 프레임 간의 동적인 중요도를 조절한다.

두 번째 디코더는 Multi-Scale Decoder로, 모든 레이어의 특징을 동일한 차원으로 투영한 후 연결(Concatenation)한다. [추출된 특징들 → 통합 차원 투영 → 3D 잔차 퓨전 블록 연산 → 중간 단계별 보조 감독(Auxiliary Supervision) 수행] 과정을 거쳐 복잡한 장면에서도 안정적인 예측 결과를 도출한다.

최종 결과물은 두 디코더의 출력을 로짓(Logit) 공간에서 평균낸 후 시그모이드 함수를 통과시켜 생성한다. [디코더 출력값 → 역 시그모이드 변환 → 산술 평균 → 시그모이드 재투영 → 확률 분포 형태의 Saliency Map 산출] 과정을 통해 최종 확률 지도를 얻는다.

iLearn 팀은 Private Test Subset에서 CC 0.8280, SIM 0.6927, AUC-Judd 0.8921을 기록하며 종합 순위 1위를 차지했다. 특히 68억 개의 파라미터를 사용하여 모델의 규모가 성능에 미치는 영향을 입증했다.

CVSP 팀은 V-JEPA2 백본을 사용하여 CC 0.8272를 기록하며 근소한 차이로 2위를 차지했다. 이는 자기주도 학습(Self-supervised learning)으로 얻은 비디오 표현이 시각적 주의 집중 예측에 매우 효과적임을 보여준다.

ARK_MMLAB 팀은 NSS(Normalized Scanpath Saliency) 지표에서 3.4562로 전체 팀 중 가장 높은 점수를 기록했다. 이는 해당 모델이 실제 인간의 시선 고정 지점(Fixation point)을 가장 정확하게 짚어내고 있음을 의미한다.

본 논문은 비디오 시각적 주의 집중 예측을 위해 대규모 사전 학습 모델의 전이 학습(Transfer Learning) 능력을 극대화하는 아키텍처를 중점적으로 다룬다. 특히 InternVideo2와 V-JEPA2와 같은 거대 모델을 백본으로 채택하고, 파라미터 효율적인 학습을 위해 LoRA(Low-Rank Adaptation)를 적용한 점이 특징이다.

계층적 특징 융합(Hierarchical Feature Fusion)이 핵심적인 역할을 수행한다. 인코더의 서로 다른 깊이에서 나오는 특징 맵들을 업샘플링하여 해상도를 맞춘 뒤, 3D 컨볼루션을 통해 시간적 연속성을 보존하며 결합한다. 이때 인간의 시선이 화면 중앙에 머무는 경향을 반영하기 위해 Center Prior를 가우시안 분포 형태로 학습 가능한 파라미터와 결합하여 최종 로짓에 더해준다.

손실 함수(Loss Function)는 KL Divergence, Pearson Correlation Coefficient(CC), Similarity(SIM), Normalized Scanpath Saliency(NSS)를 가중 합산하여 구성한다. 이는 예측된 맵의 분포 유사도뿐만 아니라 실제 픽셀 단위의 상관관계와 시선 고정 지점의 정확도를 동시에 최적화하기 위함이다.

대부분의 고성능 모델들이 수십억 개의 파라미터를 가진 거대 백본(InternVideo2 6B 등)을 사용하고 있어, 모바일 기기나 임베디드 시스템에서의 실시간 추론에는 연산 자원 제약이 따를 수 있다.