신뢰도 인식 도구 오케스트레이션을 통한 강건한 비디오 이해

실세계 영상은 모션 블러, 글레어, 부분 차폐 등으로 자주 열화되어 Video-LLM의 예측을 왜곡한다. 본 논문은 각 프레임의 신뢰도를 추정해 신뢰도가 높은 프레임만을 중심으로 다양한 시각 도구를 선택하고 통합하는 파이프라인을 제시했다. 그 결과 깨끗한 입력에서 56.4% 정확도를 달성하고 오염된 입력에서도 54.3%를 유지하여 실환경 적용 시 예측의 무감지 실패를 줄였다.

문제 출발점은 기존 Video-LLM이 모든 프레임을 동등하게 신뢰하는 설계에 있다. 실세계 영상에서는 일부 프레임이 모션 블러나 글레어로 심하게 열화되므로 동일한 가중치로 처리하면 오염된 신호가 추론을 왜곡한다. 따라서 프레임 수준의 품질 추정이 없으면 모델의 자기 확신(confidence)과 실제 시각 증거의 신뢰성 사이에 큰 괴리가 발생한다. 해결 원리는 프레임별 disturbance score를 먼저 계산해 신뢰도가 높은 프레임만을 도구 입력으로 선별하고, 쿼리를 원자적 sub-query로 분해해 각 sub-query에 가장 적합한 시각 도구를 호출하는 것이다. 각 도구는 자체 불확실도 c_intrinsic을 반환하고 입력 신뢰도 ρ(Fj)와 곱해 최종 신뢰도를 얻는다. 이 곱셈은 도구 출력이 열화된 입력으로부터 왔을 때 과신(overconfidence)을 억제하는 핵심 메커니즘이다. 최종 합성은 신뢰도 등급화로 동작한다. 모든 도구 출력을 high, medium, low로 그룹화해 높은 신뢰도 증거가 결론을 주도하도록 설계했고 중간 신뢰는 고신뢰와 일치할 때만 보조하며 저신뢰는 대체 근거가 없을 때만 허용한다. 이 계층화는 오염 상태에서 잘못된 증거가 결론을 바꾸는 것을 방지하고 모델의 불확실성을 명시적으로 보고하도록 만든다.

전체 파이프라인은 세 단계로 구성된다. 첫째, 각 프레임에 대해 assess_quality를 호출해 d(fi)=mean(dblur,dbright,doccl)를 계산하고 min-max 정규화를 통해 단일 disturbance score를 얻는다. 둘째, select_frames는 s(fi)=(1−d(fi))·sim(ϕ(fi),ψ(q))로 프레임 신뢰도와 쿼리 관련성을 결합해 상위 K 프레임을 선택한다. 셋째, 호스트 VLM은 q를 원자적 sub-query로 분해한 뒤 각 sub-query를 도구 라이브러리로 라우팅하고 도구가 반환한 (result,cj,Fj,{d(f)})를 축적한다. 도구 라우팅은 두 단계 규약을 따른다. 먼저 sub-query의 의미 유형으로 후보 도구를 좁히고 다음으로 Fj의 평균 disturbance 프로파일 d¯를 확인해 우세한 손상 타입에 더 강한 도구를 선택한다. 예를 들어 흐릿함이 우세하면 detect_objects보다 caption_frame을 선호하고 조명 왜곡이 우세하면 조명에 강한 도구를 선택한다. 각 도구 호출은 c_intrinsic과 입력 신뢰도 ρ(Fj)을 곱해 cj를 산출하는데 ρ(Fj)는 Fj에서 신뢰도가 가장 낮은 ⌈n/3⌉ 프레임의 평균으로 정의되어 소수의 깨끗한 프레임이 오염 프레임을 가리는 것을 방지한다. 학습은 GRPO로 수행된다. 단일 롤아웃 궤적 τ에 대해 각 호출의 Rcc(cj,Tj)=cj−λ·cost(Tj)를 평균한 confidence-cost 보상과 sub-query 효율성 보상 Rsubq, 정답 보상 Racc, 형식 보상 Rfmt를 조합해 총 보상 Rtotal=Racc + w(Rsubq + Rtotal_cc + Rfmt)를 사용한다. πest라는 동결된 VLM을 통해 질문별 목표 sub-query 수 m∗를 추정하여 과다 분해와 과소 분해를 제어했다.

주요 성능은 UrbanVideo-Bench와 VSI-Bench의 8개 작업에서 평가했다. Qwen3-VL-7B 기반의 Robust-TO는 clean 입력에서 56.4% 평균 정확도를 기록해 논문에 제시된 강한 오픈소스 기준선을 10.6%p 상회했고 Gemini-2.5-Pro(46.2%)보다도 우수한 성능을 보였다. RoVA로 생성한 현실적 오염 조건 다섯 가지 하에서는 평균 54.3%를 유지해 같은 조건의 최강 오픈소스 Video-R1보다 5.8%p 높은 성능을 보였다. 다수의 세부 실험에서 설계 요소의 기여를 분리했다. 신뢰도 곱셈 없이 intrinsic만 사용하면 7.6%p의 손실이 발생했고 worst-K 대신 uniform mean을 쓰면 3.3%p가 감소했다. GRPO 보상에서 confidence-cost 항을 제거하면 약 2.3%p 감소가 관찰되어 보상 설계가 도구 선택과 효율성에 중요한 영향을 미쳤다. 효율성 측면에서 적응형 키-프레임 선택은 평균 프레임 수를 32에서 20.7로 35% 감소시켰고 계산 시간과 추론 시간을 각각 크게 줄이면서 정확도를 1.6%p 향상시켰다. 이 결과는 신뢰도 기반 프레임 게이팅이 정확도와 자원 사용량을 동시에 개선함을 의미한다.

전체 아키텍처는 호스트 VLM 컨트롤러와 도구 라이브러리로 구성된다. 파이프라인 초기에 assess_quality로 각 프레임의 d(fi)를 계산하고 select_frames로 s(fi)=(1−d(fi))·sim(ϕ(fi),ψ(q))을 사용해 상위 K 프레임을 선택한다. 선택된 프레임과 원자적 sub-query를 기반으로 도구를 호출하고 모든 출력은 (rj,cj,Fj,{d(f)}) 형식으로 저장된다. 신뢰도 수식은 단순하지만 결정적이다. 각 도구의 c_intrinsic은 도구별 스코어(예 컨픽스 평균, 토큰 로그확률, OCR 문자 신뢰도 등)로 정의되고 final confidence cj = c_intrinsic × ρ(Fj)로 계산된다. ρ(Fj)는 Fj에서 신뢰도가 가장 낮은 ⌈n/3⌉ 프레임들의 (1−d(f)) 평균으로 정의되어 입력 집합 내 취약 프레임의 영향을 보수적으로 반영한다. 학습과 하이퍼파라미터는 논문에 명시된대로 구성된다. GRPO 학습은 4×A100-80GB로 ∼5,000 스텝을 진행했고 보상 구성은 Rtotal = Racc + w(Rsubq + Rtotal_cc + Rfmt)이며 λ=0.5, w=1/3 등 논문 값을 사용했다. 프레임 샘플링은 1fps로 최대 32프레임을 전처리하고 selection 후 최대 12프레임을 도구에 전달했다. 도구 라이브러리는 assess_quality, select_frames, retrieve_frames, detect_objects, caption_frame, track_temporal, recognize_action, read_text 등으로 구성되어 있으며 각 도구의 cost는 캡션 프레임 실행 시간을 단위로 정규화해 보상 계산에 반영했다. 모든 intrinsic score는 [0.01,1.0]로 클리핑되어 곱셈으로 인한 소거를 방지했다.

논문은 disturbance vocabulary를 blur, brightness, occlusion 세 채널로 제한했다는 한계를 명시했다. 이 제약은 적대적 교란이나 의미적 가림, 오디오-비주얼 불일치 같은 다른 오류 유형에 대해서는 즉시 확장되지 않는다. πest를 동결한 설계는 sub-query 수 추정의 품질을 πest 능력에 묶어 학습 중 보상 조작을 방지했으나 동시에 분해 품질을 πest 성능으로 제한한다. 또한 입력이 극도로 손상된 경우 프로파일링과 다수 도구 호출로 인해 실시간 배포에서 허용 가능한 지연을 초과할 위험이 있음을 논문에서 지적했다.