VIABench: 시각장애 지원을 위해 시각장애인이 수집한 장기 일인칭 비디오 기반 종합 벤치마크

시각장애 지원용 보조 시스템은 장기적 시간 문맥과 저품질 일인칭 영상에서의 실시간 반응 능력이 필수적이다. 기존 벤치마크들은 짧거나 편집된 영상에 편향되어 실제 시각장애 사용자가 겪는 상황을 충분히 반영하지 못했다. VIABench는 시각장애인이 직접 촬영한 장기 영상과 실시간 평가 프로토콜을 제공하여 MLLM의 실제 보조 유효성을 직접적으로 측정할 수 있게 한다.

문제의 출발점은 시각장애 보조가 요구하는 실시간성과 장기적 시간 문맥의 결합이다. 기존 비전·언어 벤치마크는 주로 단일 프레임 또는 매우 짧은 클립을 사용하여 모델의 순간적 이해 능력을 측정했으나, 사전 알림이나 연속적 상호작용은 이벤트 발생 이전의 신호를 포착하고 적절한 시점에만 반응해야 하므로 프레임 간 누적 문맥을 고려하는 평가가 필요하다. 특히 일인칭 영상은 흔들림과 노이즈가 심해 국소 프레임 신호만으로는 안전한 결정을 내리기 어렵다.

VIABench의 데이터 구축은 다섯 단계 파이프라인으로 구성되어 있다. 첫 단계는 공개 플랫폼에서 시각장애인이 올린 비디오를 키워드 검색과 수동 필터링으로 선별하는 것이며, 두 번째 단계는 실사용 시나리오를 기준으로 세 가지 핵심 태스크(사전 알림·VQA·시각 기반 상호작용)를 정의하는 것이다. 세 번째 단계는 14명의 학생이 파일럿 레이블링을 수행하여 시작·종료 타임스탬프의 정밀 라벨링 가능성을 검증했고, 네 번째 단계는 전문 라벨링 업체와의 협업을 통해 대규모 주석을 수행했으며 다단계 품질검사를 거쳐 최종 단계에서 불필요 영상을 제거하고 영어 번역을 수행했다.

데이터 통계는 761개 비디오, 14,526개 주석, 총 46.9시간의 재생시간, 평균 222초, 최대 1959초로 보고되었다. 벤치마크 평가에서 여러 공개·비공개 MLLM을 테스트한 결과 Proactive Reminder와 Vision-Guided Interaction에서 모델 성능이 VQA보다 현저히 낮았으며 최고 성능 모델도 전체 평균 28.8 수준에 머물렀다. 분석은 실세계 일인칭 영상의 저품질, 도메인 차이, 스트리밍 학습 데이터의 한계가 주요 원인으로 작용한다고 결론지었다.

TPAD의 핵심 수식은 프레임 k의 로짓 z^{(k)}=W_{LM} h_{idx_k^}+b_{LM}와 해당 프레임에서의 경고 확률 P(alert|F_k,S_prompt)=softmax(z_A^{(k)},z_B^{(k)})[0]로 요약된다. 여기서 h_{idx_k^}는 입력으로 연결된 전체 토큰 시퀀스 중 프레임 k에 대응하는 마지막 토큰의 최종 레이어 히든스테이트(차원 d)이고 W_{LM}은 언어모델 헤드의 가중치 행렬(V×d), b_{LM}은 편향 벡터이다. 계산 흐름은 프롬프트와 모든 프레임을 하나의 토큰 시퀀스로 합친 뒤 Transformer 순전파로 최종 히든스테이트를 얻고, 각 프레임별 마지막 토큰 벡터를 언어모델 헤드로 투영해 A/B 토큰 로짓을 추출하고 소프트맥스로 경고 확률을 산출하는 방식이다.

논문은 모델 성능 저하의 원인으로 세 가지를 명시적으로 지적했다. 첫째, 일인칭 시각장애자 영상은 흔들림·노출 이상·프레이밍 실패 등으로 인해 시각 신호가 불안정하여 모델의 장기적 문맥 추적 능력을 약화시킨다. 둘째, 현재 온라인·스트리밍 모델의 학습 데이터는 주로 촘촘한 캡션이나 자동 생성 서술로 구성되어 있어 복합적·목적지향적 지시를 다루기에 훈련 분포가 부족하다. 셋째, 오프라인 MLLM을 프레임 단위로 반복 호출하는 기존 평가 방식은 계산 비용이 매우 크고 시간적 일관성을 보장하지 못한다는 제한이 있다.