비디오 추론 모델은 실외 환경으로 나갈 준비가 되었는가?

기존 비디오 AI 모델들이 깨끗한 실험실 데이터에서는 잘 작동하지만, 실제 환경의 비, 안개, 카메라 흔들림 앞에서는 논리적 추론이 쉽게 붕괴된다는 점을 해결한다. ROVA 프레임워크는 모델이 시각적 방해 요소 속에서도 일관된 사고 과정을 유지하도록 학습시켜 자율주행이나 로봇 공학의 실전 배치 가능성을 높인다.

비디오 추론 모델의 핵심인 Attention 메커니즘은 프레임 간의 관계를 파악하여 논리를 구성하지만, 실제 환경의 노이즈(비, 안개 등)가 입력되면 임베딩 공간에서 특징점이 왜곡되어 추론 체인이 끊어지는 한계가 있다. 기존의 단순 데이터 증강은 이러한 논리적 붕괴를 근본적으로 막지 못한다.

ROVA는 이를 해결하기 위해 '이중 분기 정렬' 방식을 도입한다. 깨끗한 비디오를 처리하는 고정된 분기를 기준(Anchor)으로 삼고, 오염된 비디오를 처리하는 학습 분기가 기준 분기와 동일한 사고 과정과 정답을 내놓도록 GRPO 알고리즘을 통해 가중치를 업데이트한다. 이는 모델이 시각적 노이즈를 무시하고 핵심 시맨틱 정보에 집중하게 만든다.

또한, 모든 데이터를 무작위로 학습하는 대신 모델 스스로가 현재 자신의 수준에서 '정보량이 많은' 샘플(적당히 어려운 샘플)만 골라 학습하는 자가 성찰적 커리큘럼을 적용한다. 이를 통해 모델은 복잡한 실외 환경에서도 흔들리지 않는 강건한 표현력을 효율적으로 학습하게 되며, 이는 실제 자율주행이나 드론 비행 시의 안전성 향상으로 이어진다.

구조적 시공간 오염 파이프라인을 통해 날씨, 조명, 가림, 카메라 움직임 등 4가지 범주의 현실적 방해 요소를 생성한다. 프레임 간 일관성을 유지하는 마스크와 시간적 셔플링을 적용하여 물리적으로 타당한 오염 데이터를 생성하고 이를 학습에 활용한다.

자가 성찰적 난이도 인식 학습 단계에서는 모델이 오염된 비디오를 보고 정답 가능 여부를 스스로 판단하여 'Easy', 'Difficult', 'Informative'로 분류한다. [오염된 비디오와 질문 입력 → 모델의 자가 평가 프롬프트 실행 → 난이도 레이블 및 확신도 출력 → 학습 우선순위 결정] 과정을 거쳐 정보 가치가 높은 샘플에 집중한다.

이중 분기 정렬 최적화는 GRPO(Group Relative Policy Optimization)를 기반으로 수행된다. [두 분기의 출력값 비교 → GPT-4o를 통한 시맨틱 유사도 계산 → 보상 값 산출 → 정책 업데이트] 순으로 작동하며, 형식 보상, 정확도 보상, 그리고 추론 일관성 보상을 결합하여 모델이 오염된 환경에서도 일관된 논리를 유지하도록 유도한다.

PVRBench 평가 결과, ROVA는 Qwen2.5-VL, InternVL2.5 등 주요 오픈소스 모델 대비 상대적 정확도를 최소 24%, 추론 품질을 9% 이상 향상시켰다. 특히 가림(Occlusion) 상황에서 기존 모델들이 35% 이상의 성능 하락을 보인 것과 대조적으로 강력한 복원력을 입증했다.

효율성 측면에서는 자가 성찰적 커리큘럼 학습을 통해 전체 데이터의 8% 미만(32.5K 샘플)만 사용하고도 기존 Video-R1 모델 대비 GPU 시간을 60.4% 절감하면서 더 높은 성능을 달성했다. 이는 불필요한 샘플 학습을 배제한 결과이다.

일반화 성능 분석 결과, 학습에 사용되지 않은 외부 벤치마크인 VisBench와 UrbanVideo에서도 각각 14.6%, 12.9%의 평균 정확도 향상을 기록했다. 이는 ROVA가 특정 오염 형태에 오버피팅되지 않고 범용적인 시각적 강건성을 획득했음을 보여준다.

ROVA의 아키텍처는 고정된 Clean Branch와 학습 가능한 Perturbed Branch로 구성된 Dual-branch 구조를 취하며, 두 분기 간의 직접적인 특징값 정렬 대신 출력 결과의 시맨틱 일관성을 보상으로 사용하는 강화학습 방식을 채택한다.

보상 함수 $R_j = r^F_j + r^{Acc}_j + r^A_j$는 형식 준수 여부, 정답 일치 여부, 그리고 두 분기 간의 추론/답변 일관성 점수를 입력으로 받아 가중 합산 연산을 수행한다. 특히 정렬 보상($r^A_j$)은 추론 과정의 논리적 단계가 보존되었는지를 GPT-4o 판정관을 통해 3단계(0, 0.5, 1)로 평가한다.

학습 전략에는 너무 어려운 샘플을 Memory Buffer에 저장했다가 모델의 능력이 향상된 후 다시 평가하여 학습에 포함시키는 지연 학습(Deferred Training) 메커니즘이 포함되어 있다. 이는 학습 초기의 불안정성을 방지하고 점진적인 강건성 확보를 가능하게 한다.

이론적 분석에 따르면, ROVA의 정렬 보상을 최대화하는 과정은 통계적 매니폴드 상에서 깨끗한 입력과 오염된 입력 사이의 Fisher-Rao 거리를 최소화하는 것과 국소적으로 동일하며, 이는 모델이 섭동에 불변하는 표현력을 학습하도록 강제한다.

보상 함수 중 형식 및 정확도 보상이 0 또는 1의 이진 형태(Binary)로 제공되어 부분적으로 정답에 근접한 출력에 대한 세밀한 피드백이 부족하며, 정렬 보상을 위해 외부 LLM Judge에 의존하므로 판정 모델의 성능에 결과가 종속될 수 있다.