UniVR: 순수 시각 시연으로 학습하는 통합 시각 추론 프레임워크

왜 중요한가

시각적 장기 계획과 미세 물리 동역학은 텍스트로 완전하게 포착되지 않아 언어 중심 접근으로는 한계가 발생했다는 문제가 본문에서 확인되었다. UniVR는 이미지 시퀀스 자체를 생성·예측하는 통합 다음-토큰 목표를 통해 시각 공간에서 직접 정책과 추론을 학습함으로써 이 격차를 좁혔다. 이 접근은 장기적 조작, 퍼즐, 검색 등 이질적인 시나리오에서 텍스트 기반 파이프라인보다 절차적 무결성과 물리적 일관성을 더 잘 유지하는 것으로 나타났다.

관련 Figure

Infographic
이 그림은 텍스트 기반 LMM+T2I 파이프라인이 장기적·미세한 물리 변화에서 논리적 불일치와 물리적 위반을 자주 보였음을 시각적 사례로 보여준다. 또한 UniVR이 시각적 사고(Thinking in Visual Space)를 통해 직접 작업 실행 궤적을 생성해 일관된 단계별 진행을 달성하는 점을 시각적으로 대비해 논문의 기여를 보강한다.
논문의 개요 그림으로서 UniVR의 다양한 시각적 작업, 기존 텍스트 기반 파이프라인과의 성능 비교, 그리고 UniVR의 직접 시각 공간 실행 예시를 병렬로 제시하고 있다.

핵심 기여

시각 공간에서 통합적 다음-토큰 예측으로 추론을 학습한 최초 사례

UniVR는 이미지 시퀀스와 지시문을 입력으로 받아 시퀀스의 다음 프레임을 예측하는 통합 다음-토큰 프레임워크로 동작한다. 이 구조는 dense image-text 쌍에 의존하지 않고도 다양한 소스의 시각적 시연으로부터 장기 계획과 물리 지식을 흡수하게 한다. 따라서 서로 다른 시간 스케일과 시각적 도메인을 아우르는 지식을 하나의 모델 공간에 축적할 수 있다.

VR-GRPO: 전역 보상과 단계집중 보상을 결합한 강화학습 설계

VR-GRPO는 전체 과제 성공을 평가하는 전역 보상과 중간 단계의 오류 가능성을 표적으로 삼는 Step-Focal 보상을 결합한다. 여러 롤아웃의 시점별 임베딩 분산을 계산해 불확실성이 큰 구간을 추출하고 해당 하위단계를 VLM의 쌍비교로 평가해 세밀한 보상 신호를 생성한다. 이 보상 통합은 최종 상태의 이미지 품질에 의한 보상 해킹을 억제하고 절차적 일관성을 보장한다.

VR-X: 시각 공간 추론을 평가하기 위한 대규모 다중과제 벤치마크

VR-X는 16개 출처에서 수집한 원시 샘플 1.5M을 가공해 냉시작 학습 310k, RL용 3k, 평가 1.8k 샘플로 구성된 벤치마크이다. 데이터는 로봇 조작, 요리, 공예 같은 장기 계획부터 미로·퍼즐 같은 단기 인지 과제까지 포함해 이질적 능력을 동시에 시험한다. 평가 지표로 VLM 기반 점수와 JEPA 유사도를 도입해 논리적 정확도와 물리적 동역학 일치도를 모두 측정한다.

텍스트 의존 없이도 멀티모달 이해 성능 향상

UniVR로 시각적 추론을 강화한 모델은 Emu3.5 기반 상태에서 기존 멀티모달 벤치마크(MMMU, MME 등)에 대해 유의한 성능 향상을 보였다. 순수 텍스트 체인 학습만으로는 얻기 어려운 보완적 성능 향상이 관찰되었고, 이는 시각 원천의 직접 학습이 멀티모달 이해를 강화한다는 점을 시사한다. 공개된 코드·데이터와 모델을 통해 재현과 확장이 가능하다.

핵심 아이디어 이해하기

대부분의 기존 접근은 시각 정보를 텍스트 공간으로 투사한 뒤 언어적 추론을 수행하는 방식에 의존해 왔고, 이로 인해 미세한 물리적 동작이나 장기적 장면 전이가 충분히 반영되지 못하는 한계가 확인되었다. UniVR은 이러한 한계를 회피하기 위해 이미지 시퀀스를 직접 시퀀스 생성 대상으로 삼아 시각 상태 전이와 정책 동역학 자체를 학습하도록 설계되었다. 즉, 텍스트가 중간 표상으로 개입하지 않는 상태에서 모델이 시각적 원인-결과 관계를 내부적으로 구성하도록 유도한다.

방법론

전체 프레임워크는 두 단계로 구성되어 있다. 첫째로 cold initialization 단계에서 Emu3.5 34B를 기반으로 한 감독적 미세조정(SFT)을 수행해 다양한 시각적 과제의 초기 생성 능력을 확보한다. 둘째로 VR-GRPO 기반의 강화학습 단계에서 전역 보상과 단계집중 보상을 결합해 정책을 추가로 최적화하며 이때 이미지 시퀀스는 VQ-VAE 스타일 인코더로 이산 토큰으로 변환되어 autoregressive 생성 목표로 학습된다. VR-GRPO의 핵심은 불확실도 기반의 하위단계 샘플링과 쌍비교 기반 보상 산출에 있다. 여러 롤아웃을 정렬한 뒤 각 시점에서 CLIP 계열의 임베딩을 추출해 시점별 분산 σ(t)를 계산하고, 분산이 최대인 구간을 윈도우 W 크기로 잘라내어 VLM에게 두 후보를 쌍비교하도록 한다. 이렇게 얻은 전역 점수 Rg와 단계집중 점수 Rs는 Rreason = Rg − λ|Rg − Rs| 형태로 결합되어 최종 보상을 제공하고, λ는 전역-단계 정렬의 강도를 조절하는 계수이다. 훈련 세부에서는 롤아웃 크기 8, 기본 윈도우 W=4, 정렬 계수 λ=2.0을 사용했고 비디오 해상도는 짧은 변을 512px로 스케일하며 최대 토큰 길이는 20k로 설정했다. 데이터 구성은 원시 1.5M 샘플에서 냉시작 학습 310k, RL 3k, 평가 1.8k로 엄격히 분할되어 다양한 시간 스케일과 도메인을 반영하도록 설계되었다.

관련 Figure

Diagram
이 다이어그램은 이미지 토큰과 텍스트 토큰이 통합된 어휘로 변환되어 autoregressive 생성에 사용되는 파이프라인을 시각적으로 나타낸다. 또한 여러 유형의 작업을 동일한 모델 구성으로 처리할 수 있음을 보여주어 통합 학습 설계의 직관적 근거를 제공한다.
UniVR 모델의 입력·토큰화 구조와 다양한 멀티모달 작업(장기 계획, 일반 추론 등)을 예시로 제시한 다이어그램이다.

주요 결과

VR-X 벤치마크에서 UniVR는 Emu3.5 기반 초기 모델 대비 전반적으로 큰 개선을 보였다. 표에 따르면 Emu3.5의 전체 점수는 39.8인 반면 UniVR는 58.2를 기록해 절대적으로 약 18.4 포인트의 향상이 관찰되었고, 로봇 조작 항목에서는 최대 25.2 포인트의 개선이 보고되었다. JEPA 물리 유사도 지표에서는 Emu3.5가 33.62였고 UniVR는 13.01로 낮은 값(물리적 분포와 근접)이 확인되어 물리적 일관성 측면에서도 개선이 이루어졌다.

관련 Figure

Infographic
이 이미지는 VR-X가 장기 조작과 일반 추론을 포괄하는 다양한 태스크로 구성되어 있음을 직관적으로 전달하며, 데이터의 이질성과 평가 난이도를 시각적으로 확인할 수 있게 한다. 벤치마크의 광범위한 도메인 포함은 UniVR이 다양한 시각적 정책을 학습하도록 요구된다는 점을 뒷받침한다.
VR-X 벤치마크 구성과 대표적인 시나리오(종이꽃 만들기, 요리, 옷걸이 걸기, 매즈 경로 등)를 한 장으로 요약한 인포그래픽이다.

기술 상세

전체 아키텍처는 VQ-VAE 스타일의 인코더를 통해 이미지와 텍스트를 하나의 이산 어휘로 토큰화한 뒤 autoregressive next-token 예측으로 이미지 시퀀스를 생성하는 통합 생성 모델 기반이다. 기본 모델로 Emu3.5 34B를 사용해 cold initialization 단계에서 SFT를 완료한 뒤 VR-GRPO로 RL을 수행해 시각적 추론 능력을 강화했다. 데이터 파이프라인은 1.5M 원시 샘플에서 310k 냉시작 학습, 3k RL, 1.8k 평가로 구성되어 있으며 시퀀스 정렬과 분할을 통해 서로 다른 길이의 궤적을 동기화한다. 수학적 보상 구성은 두 수식을 포함한다. 첫 번째는 시점별 불확실도 측정 식으로, 원문 표현은 σ(t)=\sqrt{\frac{1}{K}\sum_{k=1}^{K}|\mathbf{z}{k}(t)-\bar{\mathbf{z}}(t)|{2}^{2}} 이다. 여기서 z_k(t) 는 k번째 롤아웃의 timestep t에서 추출한 CLIP 임베딩(차원 d)을 의미하며 \bar{\mathbf{z}}(t) 는 그 시점의 평균 임베딩이다. 계산 흐름은 각 롤아웃에 대해 시점별 임베딩을 구해 평균을 계산하고 편차의 제곱 평균을 취한 뒤 제곱근을 취해 분산 스코어 σ(t)를 얻는 것이다. 예를 들어 K=4이고 한 시점에서 임베딩 간의 유클리드 거리 제곱 평균이 0.25라면 σ(t)=\sqrt{0.25}=0.5가 되고, 이 값이 크면 해당 시점에 롤아웃 간 행동 경로가 크게 갈라진다는 의미이다. 두 번째는 전역 점수 R_g와 단계집중 점수 R_s를 통합하는 식으로, 원문 표현은 R_{\rm reason}=R_{\rm g}-\lambda|R_{\rm g}-R_{\rm s}| 이다. 여기서 R_g는 VLM 기반의 전역 품질 점수(작업 완수와 화질 포함), R_s는 단계집중 쌍비교에서 얻은 상대적 승률이다. 계산 흐름은 먼저 전역과 단계 점수를 각각 산출한 뒤 두 값의 절대 차이에 계수 λ를 곱해 패널티로 처리하고 전역 점수에서 이를 빼 최종 보상을 만든다. 예시로 R_g=80, R_s=60, λ=2.0이면 R_{reason}=80-2*|80-60|=80-40=40이 되어 전역 성공만으로 높은 최종 보상을 받지 못함을 뜻한다. 훈련 구현 세부에서 롤아웃 사이즈는 8, 서브스텝 윈도우 기본값 W는 4 프레임, 정렬 계수 λ는 2.0으로 설정되었고 비디오 해상도는 짧은 변을 512px로 조정했다. 평가 파이프라인은 VLM 기반의 쌍비교 프로토콜을 사용해 스코어 편향을 완화하고 JEPA 유사도로 물리적 분포의 근접도를 보완해 다중 지표 평가를 수행한다.

관련 Figure

Diagram
이 그림은 여러 롤아웃의 시점별 CLIP 임베딩 분산을 계산해 peak 불확실도를 찾고 해당 윈도우를 VLM으로 쌍비교해 Step-Focal 보상을 산출하는 전체 절차를 단계별로 정리한다. 또한 전역 보상만으로는 놓치기 쉬운 단계별 물리적 오류를 어떻게 포착해 보상으로 환원하는지 과정적 근거를 제공한다.
VR-GRPO의 동작 흐름을 보여주는 그림으로서 서브스텝 샘플링, 분산 σ(t) 계산, 쌍비교 기반의 전역·단계 보상 결합 과정을 도식화하고 있다.

한계점

본문은 VLM 기반 전역 보상이 장기 다중단계 시퀀스에서 중간 물리 위반을 과소평가하는 한계를 명시하고 있다. 이로 인해 전역 보상만 사용하면 최종 상태나 화질에 치우쳐 절차적 오류를 간과하는 보상 해킹 현상이 발생한다는 점이 보고되었다. 따라서 VR-GRPO의 단계집중 보상은 이러한 한계를 보완하나, VLM 자체의 시각적 세계지식 한계는 여전히 제약 요소로 남아 있다.

실무 활용

공개된 GitHub 저장소를 통해 코드와 데이터가 제공되어 연구 재현과 후속 개발이 가능하다. UniVR의 시각 공간 정책 학습은 로봇 조작 시나리오나 시각적 계획이 요구되는 응용에서 직관적인 이점을 제공한다.

로봇의 장기 작업 계획에서 시각적 시연을 바로 정책으로 전환해 절차적 일관성을 확보하는 제어 정책 학습
수작업 공예나 요리와 같은 인간-데모 기반 작업에서 시연 영상을 정책 데이터로 활용한 행동 추출
퍼즐·미로·경로계획과 같은 공간 지각 기반 문제에서 시각적 추론 궤적을 생성하여 최종 해법을 도출

코드 공개 여부: 공개

코드 저장소 보기

키워드

visual reasoning(시각적 추론)reinforcement learning(강화학습)VR-GRPO(VR-GRPO)VQ-VAE(VQ-VAE)JEPA(JEPA 유사도)

용어 해설

시각적 추론용 GRPO(VR-GRPO): — VR-GRPO는 전역 보상과 단계별 집중 보상을 결합한 강화학습 패러다임으로, 전체 과제 완료와 중간 단계의 물리적·논리적 일관성을 동시에 최적화한다. 생성된 여러 롤아웃 간 시점별 임베딩 분산을 계산해 불확실도가 큰 구간을 찾아내고 해당 하위구간을 VLM(pairwise)로 비교하여 세밀한 보상을 산출한다. 이 방식은 이미지-텍스트 쌍이나 과제별 휴리스틱 없이도 장기 계획과 미세 동역학을 학습하도록 설계되었다.
단계집중 보상(Step-Focal Reward): — Step-Focal Reward는 여러 생성 궤적의 시점별 특징 분산을 통해 불확실도가 최대인 구간을 식별하고 그 구간의 하위 단계를 집중 평가하는 보상 구성요소이다. 집중된 하위단계에 대해 VLM 기반의 쌍비교(pairwise) 평가를 수행해 세부적 물리 위반이나 논리적 간극을 포착한다. 이 보상은 최종 상태 점수에 치우치는 보상 해킹을 완화하고 절차적 무결성을 유지하게 한다.
벡터 양자화 오토인코더(VQ-VAE): — VQ-VAE는 연속 이미지나 텍스트 신호를 이산 토큰 공간으로 인코딩하는 오토인코더 계열이며, 본문에서는 이미지와 텍스트를 통합된 이산 어휘로 변환해 다음-토큰 예측 기반 생성에 사용되었다. 이 인코더로부터 얻은 토큰 시퀀스가 시각적 추론 궤적의 생성 단위가 된다. 통합 어휘 덕분에 모델이 시각-언어 혼합 생성과 순수 시각 생성 모두를 처리할 수 있다.
JEPA 유사도(JEPA): — JEPA는 시퀀스를 잠재 공간으로 맵핑해 분포 간 거리를 비교하는 방법이며 본문에서는 물리적 동역학의 일관성 측정 지표로 사용되었다. 생성 시퀀스와 정답 시퀀스의 잠재 분포 간 최대 평균 차이를 계산해 물리적 유사도를 산출한다. JEPA 점수는 물리적 동역학 일치도를 보완하는 자동화 지표로 활용되었다.

UniVR: 순수 시각 시연으로 학습하는 통합 시각 추론 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

VBVR-Pro, 시각 추론을 검증 가능한 과정으로

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

VBVR-Pro, 시각 추론을 검증 가능한 과정으로