UniVR: 순수 시각 시연으로 학습하는 통합 시각 추론 프레임워크

시각적 장기 계획과 미세 물리 동역학은 텍스트로 완전하게 포착되지 않아 언어 중심 접근으로는 한계가 발생했다는 문제가 본문에서 확인되었다. UniVR는 이미지 시퀀스 자체를 생성·예측하는 통합 다음-토큰 목표를 통해 시각 공간에서 직접 정책과 추론을 학습함으로써 이 격차를 좁혔다. 이 접근은 장기적 조작, 퍼즐, 검색 등 이질적인 시나리오에서 텍스트 기반 파이프라인보다 절차적 무결성과 물리적 일관성을 더 잘 유지하는 것으로 나타났다.

대부분의 기존 접근은 시각 정보를 텍스트 공간으로 투사한 뒤 언어적 추론을 수행하는 방식에 의존해 왔고, 이로 인해 미세한 물리적 동작이나 장기적 장면 전이가 충분히 반영되지 못하는 한계가 확인되었다. UniVR은 이러한 한계를 회피하기 위해 이미지 시퀀스를 직접 시퀀스 생성 대상으로 삼아 시각 상태 전이와 정책 동역학 자체를 학습하도록 설계되었다. 즉, 텍스트가 중간 표상으로 개입하지 않는 상태에서 모델이 시각적 원인-결과 관계를 내부적으로 구성하도록 유도한다.

전체 프레임워크는 두 단계로 구성되어 있다. 첫째로 cold initialization 단계에서 Emu3.5 34B를 기반으로 한 감독적 미세조정(SFT)을 수행해 다양한 시각적 과제의 초기 생성 능력을 확보한다. 둘째로 VR-GRPO 기반의 강화학습 단계에서 전역 보상과 단계집중 보상을 결합해 정책을 추가로 최적화하며 이때 이미지 시퀀스는 VQ-VAE 스타일 인코더로 이산 토큰으로 변환되어 autoregressive 생성 목표로 학습된다. VR-GRPO의 핵심은 불확실도 기반의 하위단계 샘플링과 쌍비교 기반 보상 산출에 있다. 여러 롤아웃을 정렬한 뒤 각 시점에서 CLIP 계열의 임베딩을 추출해 시점별 분산 σ(t)를 계산하고, 분산이 최대인 구간을 윈도우 W 크기로 잘라내어 VLM에게 두 후보를 쌍비교하도록 한다. 이렇게 얻은 전역 점수 Rg와 단계집중 점수 Rs는 Rreason = Rg − λ|Rg − Rs| 형태로 결합되어 최종 보상을 제공하고, λ는 전역-단계 정렬의 강도를 조절하는 계수이다. 훈련 세부에서는 롤아웃 크기 8, 기본 윈도우 W=4, 정렬 계수 λ=2.0을 사용했고 비디오 해상도는 짧은 변을 512px로 스케일하며 최대 토큰 길이는 20k로 설정했다. 데이터 구성은 원시 1.5M 샘플에서 냉시작 학습 310k, RL 3k, 평가 1.8k로 엄격히 분할되어 다양한 시간 스케일과 도메인을 반영하도록 설계되었다.

VR-X 벤치마크에서 UniVR는 Emu3.5 기반 초기 모델 대비 전반적으로 큰 개선을 보였다. 표에 따르면 Emu3.5의 전체 점수는 39.8인 반면 UniVR는 58.2를 기록해 절대적으로 약 18.4 포인트의 향상이 관찰되었고, 로봇 조작 항목에서는 최대 25.2 포인트의 개선이 보고되었다. JEPA 물리 유사도 지표에서는 Emu3.5가 33.62였고 UniVR는 13.01로 낮은 값(물리적 분포와 근접)이 확인되어 물리적 일관성 측면에서도 개선이 이루어졌다.

전체 아키텍처는 VQ-VAE 스타일의 인코더를 통해 이미지와 텍스트를 하나의 이산 어휘로 토큰화한 뒤 autoregressive next-token 예측으로 이미지 시퀀스를 생성하는 통합 생성 모델 기반이다. 기본 모델로 Emu3.5 34B를 사용해 cold initialization 단계에서 SFT를 완료한 뒤 VR-GRPO로 RL을 수행해 시각적 추론 능력을 강화했다. 데이터 파이프라인은 1.5M 원시 샘플에서 310k 냉시작 학습, 3k RL, 1.8k 평가로 구성되어 있으며 시퀀스 정렬과 분할을 통해 서로 다른 길이의 궤적을 동기화한다. 수학적 보상 구성은 두 수식을 포함한다. 첫 번째는 시점별 불확실도 측정 식으로, 원문 표현은 σ(t)=\sqrt{\frac{1}{K}\sum_{k=1}^{K}|\mathbf{z}{k}(t)-\bar{\mathbf{z}}(t)|{2}^{2}} 이다. 여기서 z_k(t) 는 k번째 롤아웃의 timestep t에서 추출한 CLIP 임베딩(차원 d)을 의미하며 \bar{\mathbf{z}}(t) 는 그 시점의 평균 임베딩이다. 계산 흐름은 각 롤아웃에 대해 시점별 임베딩을 구해 평균을 계산하고 편차의 제곱 평균을 취한 뒤 제곱근을 취해 분산 스코어 σ(t)를 얻는 것이다. 예를 들어 K=4이고 한 시점에서 임베딩 간의 유클리드 거리 제곱 평균이 0.25라면 σ(t)=\sqrt{0.25}=0.5가 되고, 이 값이 크면 해당 시점에 롤아웃 간 행동 경로가 크게 갈라진다는 의미이다. 두 번째는 전역 점수 R_g와 단계집중 점수 R_s를 통합하는 식으로, 원문 표현은 R_{\rm reason}=R_{\rm g}-\lambda|R_{\rm g}-R_{\rm s}| 이다. 여기서 R_g는 VLM 기반의 전역 품질 점수(작업 완수와 화질 포함), R_s는 단계집중 쌍비교에서 얻은 상대적 승률이다. 계산 흐름은 먼저 전역과 단계 점수를 각각 산출한 뒤 두 값의 절대 차이에 계수 λ를 곱해 패널티로 처리하고 전역 점수에서 이를 빼 최종 보상을 만든다. 예시로 R_g=80, R_s=60, λ=2.0이면 R_{reason}=80-2*|80-60|=80-40=40이 되어 전역 성공만으로 높은 최종 보상을 받지 못함을 뜻한다. 훈련 구현 세부에서 롤아웃 사이즈는 8, 서브스텝 윈도우 기본값 W는 4 프레임, 정렬 계수 λ는 2.0으로 설정되었고 비디오 해상도는 짧은 변을 512px로 조정했다. 평가 파이프라인은 VLM 기반의 쌍비교 프로토콜을 사용해 스코어 편향을 완화하고 JEPA 유사도로 물리적 분포의 근접도를 보완해 다중 지표 평가를 수행한다.

본문은 VLM 기반 전역 보상이 장기 다중단계 시퀀스에서 중간 물리 위반을 과소평가하는 한계를 명시하고 있다. 이로 인해 전역 보상만 사용하면 최종 상태나 화질에 치우쳐 절차적 오류를 간과하는 보상 해킹 현상이 발생한다는 점이 보고되었다. 따라서 VR-GRPO의 단계집중 보상은 이러한 한계를 보완하나, VLM 자체의 시각적 세계지식 한계는 여전히 제약 요소로 남아 있다.