일반화된 키프레임 추출을 통한 VideoQA와 비디오 안내형 GUI 에이전트 과제의 연결

현재 VideoQA 벤치마크는 주로 객체 인식이나 단기 행동처럼 얕은 지각 단서를 평가하는 경향이 있다. 튜토리얼 비디오로부터 절차적 지식과 단계별 수행을 추출해 GUI 상호작용 같은 장기적 의사결정 과제로 일반화하는 능력은 실제 응용에서 핵심적이다. VG-GUI-Bench와 TASKER는 이러한 절차적 전이 능력과 효율적 시간 선택의 중요성을 정량화하고 개선된 실험적 결과를 통해 그 가능성을 확인시켰다.

문제 출발점으로서 긴 비디오의 정보 희소성 문제를 정의했다. 긴 비디오는 대부분 중복되거나 비관련 구간을 포함하며 핵심 절차적 단서는 짧게 나타나기 때문에 균일 샘플링은 중요한 순간을 놓치거나 너무 많은 중복 프레임을 전달해 추론 성능을 떨어뜨렸다. 따라서 핵심은 모델이 소수의 정보 보존적인 프레임을 선택해 절차적 증거를 확보하는 데 있다.

전체 접근 방식은 비디오를 초기 균등 분할로 노드화하고, 각 반복에서 가시(visible) 프레임 집합만을 MLLM에 제공해 답안과 비용 점수를 평가하는 트리 기반 검색 프레임워크로 구성되었다. 노드 확장은 이진 분할(binary split)을 통해 이루어지며 노드 선택 기준은 비용 함수 f(n)에 의해 결정된다. TASKER의 핵심은 비용 함수 설계로서 TASKER-GBFS는 질문 관련성 기반 h(n)을, TASKER-Dijkstra는 장면 변화 기반 g(n)을, TASKER-A*는 두 요소의 합 f(n)=h(n)+g(n)을 사용해 우선순위를 산정한다.

VideoQA 실험에서 TASKER-A는 EgoSchema fullset에서 63.1% 정확도를 기록해 기존 최고 성능 대비 2.0%p 향상했고 NExT-QA에서는 77.4%로 1.8%p 향상했다. 프레임 효율성 측면에서 보고된 바에 따르면 TASKER는 동일 정확도에서 VideoTree 대비 약 1/4 정도의 프레임만을 소비해 효율이 크게 개선되었다. VG-GUI-Bench 평가에서는 TASKER-A가 전체 Acc. 40.96%, PIR 0.618, 그리고 높은 클릭 관련 점수를 달성해 비디오로부터 절차를 추출해 GUI 작업으로 전이하는 능력을 향상시켰다.

전체 아키텍처는 비디오를 초기 노드 N0로 보고 균일 분할로 N개의 세그먼트를 생성해 열린 리스트 ℒ에 넣는 트리-검색 구조다. 각 반복에서 가시 프레임 집합 ℱv(각 노드의 첫/마지막 프레임)을 MLLM에 입력해 답안을 예측하고 두 가지 신뢰도 추정 방법(self-evaluation과 요약 기반 confidence)을 계산한다. 비용 함수 평가는 MLLM에게 현재 가시 프레임 정보로부터 부족한 시각 정보를 질의하게 하여 h(n) 또는 g(n) 값을 산출하게 하는 방식으로 구현된다.

논문은 정보 수집의 충분성 판단이 애매하다는 점을 명시하고 있어 종료 조건 설정이 본질적으로 어렵다고 밝혔다. TASKER는 MLLM을 비용 함수 평가와 신뢰도 추정에 사용하므로 MLLM 접근성 및 호출 비용이 전체 시스템 성능과 비용에 직접적인 영향을 미친다. 또한 Oracle Keyframe 실험에서 TYPE·PRESS와 같은 입력 중심 행동은 단순 시각 모방으로 해결되지 않아 시각적 모방에 과도하게 의존하면 실패할 수 있음을 보고서로 확인했다.