CollabVR: Vision-Language와 Video Generation Models를 활용한 협업형 비디오 추론

비디오 추론은 짧은 시퀀스의 시각적 우수성과 긴 호라이즌의 계획적 추론 간의 간극으로 인해 문제가 발생한다. CollabVR은 step-level로 VLM이 즉시 다음 액션을 계획하고 VGM의 clip를 검증·보정하는 폐회로를 구성함으로써 long-horizon drift와 mid-clip 오류를 효율적으로 제어한다. 이는 기존의 단일 샘플링 방식이나 전체 비디오에 대한 후처리 방식보다 오류를 조기에 발견하고 수정하는 데 유리하다.

출발점: VLM은 논리적 추론에 강하고 VGM은 시각적 상세 묘사와 짧은 시퀀스의 시뮬레이션에 강하다. 그러나 두 모델은 각각의 약점을 갖고 있어 목표 지향적 비디오 추론에서 한계가 나타난다. CollabVR은 두 모델의 강점을 보완하기 위해 step-level로 결합한다. 먼저 VLM은 Immediate next action을 계획하고, VGM은 해당 액션의 clip을 생성한다. 생성된 clip은 VLM의 verifier에 의해 진단되고, 그 진단은 다음 액션 프롬프트를 진화시키는 데 반영된다. 이렇게 반복되면 한 클립에서의 오류가 trajectory 전체로 퍼지는 것을 막고, 긴 문제의 해석과 실행 사이의 간극을 줄인다. 추가적으로 두 모듈은 각 태스크의 특성에 따라 다른 모듈의 기여도가 다르게 나타나며, 동일한 compute 하에서 일관된 성능 향상을 제공한다.

전체 접근: CollabVR은 πplan(계획자)과 πverify(검증자)로 구성된 비주얼-언어 계획자와 이미지-대-비디오 생성기 g의 폐회로를 사용한다. 알고리즘 1은 입력 이미지 I0와 태스크 q에서 VLM의 계획과 생성된 clip의 검증을 차례대로 수행하며, v가 accept이면 clip를 히스토리 H에 누적하고 다음 단계로 진행한다. Nmax는 최대 계획 스텝 수이며 M은 각 스텝에서의 재생성 시도 수이다. Step_verifier는 ct를 검토하여 v(accept/reject)와 진단 d를 출력한다. evolve(at, d)는 진단 정보를 반영해 다음 액션 프롬프트를 업데이트한다. Failure_router는 필요 시 보완 전략(regen/split/fallback)을 선택한다. 구현 세부로는 Gemini 2.5 Pro를 기본 VLM으로 사용하고, Nmax=3, M=3의 기본 구성을 채택한다. 제로-샘플링이 아닌 step-level 제어로, 긴 과제의 decomposition과 실행 보정을 동시에 수행한다.

주요 벤치마크 Gen-ViRe와 VBVR-Bench에서 CollabVR의 성능 향상이 확인된다. Gen-ViRe에서 CollabVR은 VBVR-Wan2.2의 Pass@1이 0.391에서 0.531로 증가하고, Veo 3.1의 Pass@1은 0.481에서 0.550으로 증가한다. 또한 VBVR-Wan2.2 + CollabVR의 Overall Avg.는 약 0.757로 상승하며, Cosmos-Predict-2.5 + CollabVR 역시 0.403으로 향상된다. 첫 프레임 충실도는 VBVR-Wan2.2 0.970±0.043, Cosmos-Predict-2.5 0.971±0.037, Veo 3.1 0.977±0.035로 기록된다. 비용 측면에서 VGM 생성 시간은 CollabVR 도입 시 증가하나, VLM의 계산 비용은 상대적으로 작다. VBVR-Wan2.2의 경우 VGM/ VLM 비율은 약 14배이며, Veo 3.1의 경우 125배 정도이다. 실험적으로 per-step budget M=3이 효율-효과 균형에 가장 알맞다. 퍼포먼스는 M1(Progressive Planning)과 M2(Verification+Evolution) 조합에서 최적의 시너지를 보이며, Gen-ViRe의 경우 Decomposition과 Recovery가 보완적으로 작동한다.

아키텍처: VLM 기반 planner/verifier π(plan, πverify)와 이미지-대-비디오 생성기 g가 상호 작용한다. 알고리즘은 입력 I0, q에 대해 Nmax 단계의 계획을 수행하고, 각 단계에서 M회 재생성을 시도한다. ct를 생성하고 πverify(I0, q, H, ct)로 검사한 후, v가 accept이면 H에 추가하고 task_complete 여부를 확인한다. v가 reject이면 evolve(at, d)로 프롬프트를 업데이트하고 재도전을 시도한다. Module 1은 progressive planning으로 긴 호라이즌의 드리프트를 줄이고, Module 2는 clip 단위의 진단으로 로컬 오류를 보정한다. 구현은 Gemini 2.5 Pro를 planner/verifier로 사용하고, 각 샘플당 약 6.6회 VLM 호출이 필요하다. 또한 per-step budget M의 증가에 따라 초기 이득은 크게 증가하지만, 4회 이상 증가 시 효과가 미미해진다. 한계로는 Symbolic/지식 기반 변환은 보완이 어려우며, verifier의 정확도도 완벽하지 않다.

지식 기반/기호적 변환이 필요한 작업에서 성능 향상이 제한적이다. 지식의 결여 또는 특정 도메인에 대한 일반화가 어려운 경우, M1과 M2의 결합만으로는 해결되지 않는다. verifier의 실험적 한계로 인해 일부 실패가 downstream으로 전달될 수 있다.