VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

왜 중요한가

Native Visual Reasoning을 대규모로 학습하려면 다양한 과제, 재현 가능한 평가, 학습에 사용할 보상이 함께 필요합니다. VBVR-Pro는 300개의 절차적 과제와 Image·Video·Interleaved 출력, 과제별 검증 스코어러를 하나의 폐쇄 루프로 묶어 이 세 요소를 동시에 제공합니다. 학습 후 모델의 Overall 점수가 평균 0.290 상승했고, 외부 시각 추론 벤치마크에서도 최대 20 percentage points의 개선이 나타나 시각 상태 자체를 추론 매체로 삼는 연구 기반을 확장했습니다.

관련 Figure

Diagram
왼쪽의 과제들이 여러 생성 경로로 들어가고, 가운데에서 이미지·텍스트·비디오 상태가 생성되며, 오른쪽의 RL Rollouts가 과제별 점수로 평가됩니다. 이 구조는 VBVR-Pro가 데이터셋, 평가기, Reinforcement Learning을 분리된 기능이 아니라 동일한 task distribution 위의 폐쇄 루프로 구성한다는 논문의 핵심을 나타냅니다.
300개 시각 추론 과제와 Image·Interleaved·Video 생성기, 검증 가능한 보상 스코어러, Policy Optimization을 하나의 순환 구조로 연결한 개요도입니다.

핵심 기여

300개 절차적 과제로 확장한 시각 추론 학습 공간

VBVR-Pro는 300개의 과제 생성기를 사용해 색상·개수·OCR부터 공간 변환·탐색·게임 규칙까지 다섯 인지 능력을 포괄합니다. 각 생성기는 격자 크기, 객체 수, 배치, 외형, 난이도를 무작위화하고 전용 솔버가 정답과 메타데이터를 계산합니다. 250개 과제에서 과제당 5,000개 인스턴스를 샘플링해 1.25M 학습 인스턴스를 구성했으며, 새 과제의 47%가 다단계 추론을 요구했습니다.

규칙 기반 스코어러로 재현 가능한 보상 제공

과제별 스코어러는 HSV 색상 분할, 윤곽선 검출, OCR, 궤적 추적을 사용해 생성 결과에서 색상·모양·위치·개수와 시간적 변화를 추출합니다. 부드러운 조건은 가중합으로, 벽 통과 금지처럼 hard constraint가 있는 과제는 조건을 곱셈 방식으로 결합해 위반을 크게 감점합니다. 반복 실행에서 점수가 바뀐 비율은 0.0%였고, 사람 판단과의 per-vote agreement는 0.60을 넘어 GPT-5.5의 0.54와 Gemini-3.1-Pro의 0.52를 앞섰습니다.

Image·Video·Interleaved 생성기를 동일 조건에서 비교

동일한 문제와 정답을 Last-Frame, Key-Frame, Multi-Frame 이미지와 비디오·텍스트 이미지 인터리브드 출력으로 렌더링해 생성 양식의 차이를 통제했습니다. Video는 지속적인 시공간 상태 추적에서 강했고, Interleaved는 핵심 중간 상태를 드문 이미지로 외부화해 더 낮은 계산 비용으로 경쟁력 있는 성능을 냈습니다. 반면 단일 이미지 생성은 중간 상태와 상태 전이를 직접 표현하기 어려워 변환 과제에서 약했습니다.

시각 궤적을 활용한 Multi-Task Reinforcement Learning

50개 In-Domain 과제의 50K 샘플에서 VLM judge 보상과 검증 가능한 보상을 같은 초기화·데이터·최적화 조건으로 비교했습니다. VBVR Scorer를 사용한 RLVR은 Overall 0.548, In-Domain 0.719, Out-of-Domain 0.377을 기록해 VLM 보상 기반 RLVLM의 0.508, 0.671, 0.345와 SFT의 0.503, 0.679, 0.328을 각각 웃돌았습니다. CPS는 저수준 외형을 크게 훼손하지 않으면서 좌회전·우회전 같은 의미 있는 대안을 탐색하도록 샘플링 변동성을 조절했습니다.

핵심 아이디어 이해하기

기존의 언어 중심 추론에서는 모델이 텍스트 토큰을 이어 붙이며 문제를 풀고, 이미지는 주로 입력이나 최종 출력으로 취급합니다. 그러나 미로 이동, 물체 회전, 시간에 따른 상태 유지처럼 정답이 위치·방향·순서에 의존하는 과제에서는 중간 시각 상태가 문제의 핵심 정보입니다.

VBVR-Pro는 입력 문제를 절차적으로 생성하고, 모델이 최종 이미지 하나 또는 여러 중간 이미지와 비디오 프레임을 만들도록 구성합니다. 각 중간 상태는 다음 생성 단계에 다시 입력되므로, 모델은 이전 위치나 변환 결과를 읽고 다음 상태를 갱신하는 순환적인 작업 흐름을 갖습니다. 정답은 단순한 텍스트 일치가 아니라 객체 속성, 경로 연결성, 시간적 연속성 같은 의미 조건으로 판정됩니다.

실험에서는 중간 이미지를 하나로 압축했을 때 SenseNova-U1의 Overall 점수가 0.638에서 0.527로 떨어졌지만, 중간 텍스트를 의미 없는 placeholder로 바꿨을 때는 0.629로 유지됐습니다. 추론 중간 이미지 자체를 제거하면 점수가 0.099로 더 크게 하락했고, 중간 이미지에 noise를 넣어도 0.190까지 낮아졌습니다. 이는 언어 설명보다 모델이 유지·갱신하는 시각 궤적이 실제 계산의 더 중요한 작업 표현임을 뜻합니다.

이 구조는 Video와 Interleaved 생성의 차이도 설명합니다. Video는 연속 프레임으로 상태 전이를 촘촘하게 기록해 지속적인 시공간 추적에 유리하고, Interleaved는 필요한 중간 시각 상태만 남겨 계산량을 줄입니다. 따라서 모든 과제에 하나의 생성 양식을 적용하기보다, 정답이 최종 상태에 있는지 과정의 연속성에 있는지에 따라 시각 상태의 밀도를 선택하는 것이 핵심입니다.

방법론

VBVR-Pro-Dataset은 300개의 과제별 parameterized generator로 구성됩니다. 150개는 VBVR에서 재구현·수정했고 150개는 새로 설계했으며, 각 generator가 grid size, object count, layout, visual appearance, difficulty를 샘플링해 문제 인스턴스를 만듭니다. 전용 solver가 complete solution과 핵심 속성을 계산하고, random seed·problem specification·정답·객체 속성을 metadata에 저장해 중복 제거와 train/test 분리에 사용합니다.

각 인스턴스는 동일한 underlying problem에서 Image·Video·Interleaved 표현으로 함께 렌더링됩니다. 최종 상태만으로 충분한 문제는 Last-Frame, 미로처럼 핵심 전환 몇 개가 필요한 문제는 Key-Frame과 경로 표시, 과정의 유효성이나 시간 연속성이 필요한 문제는 Multi-Frame을 사용합니다. 이 방식은 비디오의 정답 정보를 이미지 표현에도 보존해 생성 양식 간 비교 조건을 맞춥니다.

평가 스코어러는 먼저 생성 프레임에서 HSV color segmentation, contour detection, OCR, trajectory tracking으로 task-relevant entity를 추출합니다. 이후 과제별 규칙이 추출된 색상·형태·위치·개수·궤적을 정답 메타데이터와 비교하고, soft criterion은 weighted sum, hard constraint는 multiplicative check로 최종 점수를 계산합니다. 이 입력→속성 추출→규칙 검사→점수 산출 흐름은 픽셀의 작은 이동이나 렌더링 차이를 정답 오류로 오인하는 문제를 줄입니다.

모델 학습에서는 512 × 512 해상도에서 한 epoch를 수행하고, Video generator와 10B 초과 Image·Interleaved 모델에는 rank-32 LoRA를 적용하며 작은 모델은 full fine-tuning합니다. Video 모델은 16 fps로 학습합니다. RL 비교는 VBVR-Pro-Wan2.2-TI2V-5B에서 시작해 동일한 50K RL subset을 사용하고, SFT·RLVLM·RLVR의 차이를 각각 학습 목표와 보상 출처로 제한했습니다.

RL 탐색에는 Coefficients-Preserving Sampling (CPS)을 사용합니다. CPS는 예측된 clean sample과 predicted noise의 일부를 새 Gaussian noise로 바꾸되 두 noise 계수의 제곱합을 1로 유지해 전체 noise 규모가 scheduler 설정 이상으로 커지는 것을 막습니다. η=0이면 deterministic ODE sampling이고 η가 커질수록 의미 있는 대안 궤적을 탐색할 여지가 커지지만, 실험에서는 η=0.7을 공통 설정으로 사용해 탐색과 시각 품질을 절충했습니다.

관련 Figure

Infographic
격자 퍼즐, 경로 찾기, 도형 변환, Sudoku, 체스와 같은 서로 다른 장면이 함께 배치되어 300개 과제의 시각적 다양성을 나타냅니다. 단순한 객체 인식뿐 아니라 공간 관계, 규칙 추론, 다단계 조작을 포함하도록 task coverage를 넓혔다는 Dataset 설계와 직접 연결됩니다.
색상·공간·변환·추상화·지식 능력을 포함하는 다양한 시각 추론 과제의 예시 모음입니다.

Diagram
최종 상태만 필요한 문제는 Last-Frame으로, 핵심 전환이 필요한 경로 문제는 Key-Frame으로, 시간적 연속성과 프레임별 유효성이 필요한 문제는 Multi-Frame으로 표현됩니다. 동일한 underlying problem을 이미지와 비디오로 렌더링해 생성 양식 간 공정한 비교를 가능하게 하는 설계입니다.
Last-Frame, Key-Frame, Multi-Frame 방식으로 이미지 출력이 비디오의 해결 과정을 압축하는 방법을 비교합니다.

주요 결과

VBVR-Pro-Dataset으로 학습한 아홉 개 모델은 Image·Interleaved·Video 전 양식에서 Overall 평균 0.290의 개선을 얻었습니다. In-Domain 평균 향상은 +0.401, Out-of-Domain 평균 향상은 +0.179로, 같은 과제의 새로운 인스턴스뿐 아니라 학습에 없던 과제 분포에도 효과가 이어졌습니다. 가장 높은 Overall 점수는 VBVR-Pro-Wan2.2-I2V-A14B의 In-Domain 0.670과 VBVR-Pro-SenseNova-U1의 In-Domain 0.638이었습니다.

외부 일곱 벤치마크에서는 VBVR-Pro-Wan2.2-I2V-A14B가 기본 Wan2.2-I2V-A14B보다 RISE-Video에서 62.83에서 66.18, V-ReasonBench에서 10.21에서 38.22, RULER-Bench에서 57.89에서 66.96, MME-CoF-Pro에서 24.76에서 48.39로 상승했습니다. VideoThinkBench mini도 25.71에서 52.86으로, BabyVision-Gen은 0.36에서 12.50으로, intelligentVBench는 3.93/5에서 4.11/5로 개선됐습니다. 절차적으로 생성된 추상 과제 학습이 실제 장면과 로봇 조작을 포함한 외부 문제의 패턴·순서·객체 조작으로 전이된 결과입니다.

중간 상태 개입 실험에서는 원본 입력의 Overall 점수 0.638이 입력 이미지 제거 시 0.064로 하락했고, 중간 텍스트 제거 시 0.533, 중간 이미지 제거 시 0.099가 됐습니다. 텍스트를 의미 보존 방식으로 바꾸면 0.640으로 유지됐지만, 이미지의 좌우 반전이나 180° 회전에서는 0.613을 기록해 시각 배치 변화에 맞춰 궤적을 바꾸는 반응을 보였습니다. 중간 이미지에 강한 noise를 넣었을 때도 0.190으로 하락해 시각 상태가 다음 단계의 원인 변수로 사용됨을 뒷받침했습니다.

RLVR은 Baseline 0.470에서 Overall 0.548로, SFT 0.503과 RLVLM 0.508보다 높은 점수를 냈습니다. Out-of-Domain에서도 RLVR은 0.377로 SFT 0.328과 RLVLM 0.345를 앞섰고, 학습 중 성능이 지속적으로 상승했지만 RLVLM은 작은 개선과 400~500 step 구간의 일시적 하락을 보였습니다. 사례별로는 색상 순서 과제에서 후반 denoising 단계에 오답을 수정했고, 미로 과제에서는 단절된 이동 대신 연결된 통로를 따라 목표에 도달했습니다.

관련 Figure

Diagram
Video Generator는 여러 프레임에 걸쳐 객체 위치와 색상 변화를 단계적으로 유지하지만, Image Generator는 최종 이미지 중심으로 출력해 중간 전이를 충분히 표현하지 못합니다. 이는 Video가 persistent spatiotemporal state tracking에 강하고 단일 이미지가 procedural·temporal reasoning에 약하다는 양식별 결과를 시각화합니다.
최단 경로 이동과 색상 재배치 과제에서 Video Generator와 Image Generator의 중간 상태 및 최종 상태를 비교합니다.

Screenshot
상단과 하단 사례에서 VBVR-Pro-Wan2.2-I2V-A14B는 색상·형태 대응과 180° 블록 회전을 단계적으로 수행하지만, 다른 모델은 객체 수나 방향을 보존하지 못합니다. 시각적 상태 전이를 여러 단계로 유지하는 능력이 최종 정답뿐 아니라 변환 과정의 일관성에도 중요하다는 결과를 뒷받침합니다.
VBVR-Pro 학습 모델의 이미지·비디오·Interleaved 출력과 기존 생성 모델의 변환 과제 결과를 비교합니다.

Diagram
각 테스트 사례의 가장 가까운 학습 인스턴스도 외형과 장면이 크게 달라 직접 복사로 보기 어렵습니다. 대신 pattern finding, ordering, object manipulation 같은 추상 시각 연산이 서로 다른 실제 장면으로 전이됐다는 해석을 지원합니다.
CLIP, DINOv2, 텍스트 embedding으로 검색한 학습 샘플과 외부 벤치마크 예측을 비교해 전이 성능의 근접 사례 암기 여부를 점검합니다.

기술 상세

VBVR-Pro의 스코어러는 원시 픽셀을 직접 비교하지 않고 의미 속성을 추출합니다. 예를 들어 HSV color segmentation은 색상 영역을 찾고, contour detection은 객체 윤곽을 분리하며, OCR은 숫자·레이블을 읽고, trajectory tracking은 프레임 간 객체 위치를 연결합니다. 추출된 입력은 과제별 정답 metadata와 비교되어 색상 일치, 개수, 경로 연결성, 벽 통과 여부 같은 출력 조건으로 변환됩니다.

보상 결합은 과제의 오류 구조에 따라 달라집니다. 색상·모양·위치처럼 여러 부분이 점진적으로 맞아가는 조건은 각 검사 점수에 가중치를 적용해 합산하고, 벽을 한 번이라도 통과하면 안 되는 조건은 검사값을 곱해 단일 위반이 최종 점수를 크게 낮추도록 합니다. 따라서 최종 점수뿐 아니라 어떤 검사에서 실패했는지도 분해할 수 있어 RL 정책에 더 직접적인 신호를 제공합니다.

CPS는 denoising 중 예측된 clean sample과 predicted noise를 결합하고, 새로 뽑은 Gaussian noise의 비중을 η로 조절합니다. η=0에서는 새 noise가 없어 결정론적 경로가 되고, η가 증가하면 동일한 프롬프트에서도 좌회전·우회전이나 객체 연결 순서가 달라질 수 있습니다. 예를 들어 η=0.7은 공통 RL 평가 설정으로 사용됐으며, 기존 SDE에서 η=0.7 또는 0.9일 때 관찰된 배경 아티팩트와 객체 경계 훼손보다 깨끗한 rollout을 유지하면서 의미적 탐색을 늘리는 역할을 했습니다.

Interleaved ablation은 중간 시각 상태의 정보량을 직접 비교합니다. ThinkMorph의 Full Multi 설정은 Overall 0.373이었고, 같은 텍스트를 유지한 채 이미지를 Single로 줄이면 0.349가 됐으며, 이미지 여러 장을 유지하고 텍스트를 placeholder로 바꾸면 0.374가 됐습니다. SenseNova-U1에서는 각각 0.638, 0.527, 0.629로 나타나 중간 이미지 제거 효과가 모델과 과제에 따라 0.024 또는 0.111의 Overall 하락으로 이어진 반면 중간 텍스트 제거 효과는 작았습니다.

Chain-of-Step 관찰에서는 denoising 단계별 latent를 복원해 최종 예측이 형성되는 과정을 추적했습니다. Video 모델은 연속적인 객체 이동으로 여러 경로를 탐색한 뒤 최단 경로로 수렴했고, Interleaved 모델은 이미지 공간에 후보 경로를 직접 그렸습니다. 두 양식 모두 초기 단계에서 복수의 시각 가설을 겹쳐 놓았다가 후반에 하나의 상태로 수렴하는 Superposition-Based Exploration을 보였습니다.

관련 Figure

Diagram
각 출력은 단일 총점으로 끝나지 않고 survivor count, expected count, path continuity, wall gate, door gate 같은 검사 항목으로 분해됩니다. Soft criterion은 여러 점수를 합산하고 hard constraint는 위반 시 큰 감점을 주어, 예를 들어 최종 점수 0.57과 0.37이 어떤 실패에서 발생했는지 추적할 수 있습니다.
Ball-cluster merging과 Key-door navigation 결과를 객체 수, 병합 순서, 궤적 연결성, 벽 통과 여부로 분해해 채점합니다.

한계점

논문은 가장 강한 학습 모델도 human-level performance보다 상당히 낮다고 명시합니다. VLM judge의 오판을 줄였지만, 검증 가능한 스코어러는 과제별 규칙과 메타데이터가 있는 환경에 의존하므로 모든 개방형 시각 생성 품질을 직접 평가하는 방식은 아닙니다.

관련 Figure

Infographic
VLM judge는 색상·크기 같은 세부 오류를 과대평가하거나, 보존 조건 위반을 놓치거나, 과제 규칙을 잘못 이해해 정답을 낮게 평가합니다. 반면 Verifiable Scorer는 각 과제의 의미 조건을 직접 검사해 동일 사례를 0.40, 0.48, 0.94로 판정하며 모델 기반 평가의 불안정성을 구체화합니다.
VLM-as-a-Judge가 색상 혼합, 동심원 보존, 패턴 완성 과제에서 범하는 세 가지 오류를 비교합니다.

실무 활용

VBVR-Pro는 시각 생성 모델이 과제의 의미 조건을 만족하는지 자동으로 채점하고, 같은 점수를 RL 보상으로 재사용할 수 있는 연구 인프라입니다. 절차적 generator와 solver가 함께 제공되므로 새로운 시각 과제를 생성하고 정답 metadata를 구축하는 흐름을 재현하기 쉽습니다. Image·Video·Interleaved 모델의 표현 비용과 추론 성능을 같은 문제에서 비교할 때도 활용할 수 있습니다.

미로 탐색·객체 이동·회전처럼 중간 시각 상태가 필요한 생성 모델의 학습과 평가
색상·형태·위치·개수·궤적을 규칙 기반으로 판정하는 재현 가능한 벤치마크 구축
VLM judge 대신 과제별 검증 보상을 사용하는 대규모 Multi-Task Reinforcement Learning
Image·Video·Interleaved 생성기의 정확도와 계산 효율을 동일한 문제 분포에서 비교

코드 공개 여부: 공개

코드 저장소 보기

키워드

네이티브 시각 추론VBVR-Pro검증 가능한 보상 스코어러Video GenerationInterleaved GenerationMulti-Task Reinforcement Learning시각 궤적CPS 샘플링

용어 해설

네이티브 시각 추론(Native Visual Reasoning): — 언어로만 정답을 추론한 뒤 이미지를 출력하는 방식과 달리, 이미지와 비디오 같은 시각 상태를 추론 과정의 작업 공간으로 사용하는 접근입니다. 모델은 시각 상태를 만들고 갱신하며, 공간 관계·시간적 연속성·객체 변화를 직접 처리합니다. VBVR-Pro는 이 과정을 학습·평가·최적화 가능한 형태로 구성합니다.
검증 가능한 보상 스코어러(Verifiable Reward Scorer): — 생성 결과를 픽셀 유사도가 아니라 과제별 의미 속성과 규칙으로 채점하는 평가기입니다. 색상·모양·위치·개수·궤적을 추출한 뒤 과제에 맞는 조건을 계산하므로, 동일한 입력에 항상 같은 점수를 냅니다. 이 점수는 평가뿐 아니라 Reinforcement Learning의 보상으로도 사용됩니다.
인터리브드 생성(Interleaved Generation): — 텍스트와 중간 이미지를 번갈아 생성하며 시각 추론 과정을 표현하는 생성 방식입니다. 여러 중간 시각 상태를 외부 작업 공간처럼 유지해 경로·방향·객체 변환을 단계별로 기록합니다. VBVR-Pro 실험에서는 중간 이미지가 의미 있는 텍스트보다 성능에 더 큰 영향을 주었습니다.
멀티태스크 Reinforcement Learning(Multi-Task Reinforcement Learning): — 여러 과제에서 얻은 과제별 보상을 하나의 정책 최적화 신호로 사용해 모델을 학습하는 방식입니다. VBVR-Pro는 50개 In-Domain 과제의 50K 샘플에서 생성 결과를 검증 가능한 스코어러로 채점하고, 그 점수를 이용해 시각적 의사결정을 갱신했습니다. 과제별 규칙이 명확하기 때문에 VLM judge보다 방향성이 분명한 보상을 제공합니다.

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

비디오 생성 모델의 시각 추론 능력 평가

Video-DeepResearch 멀티모달 딥리서치 에이전트

주석을 정답 rollout으로 쓰는 비디오 강화학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

비디오 생성 모델의 시각 추론 능력 평가

Video-DeepResearch 멀티모달 딥리서치 에이전트

주석을 정답 rollout으로 쓰는 비디오 강화학습