비디오 생성 모델의 시각 추론 능력 평가

왜 중요한가

비디오 생성 모델이 그럴듯한 영상을 만드는 수준을 넘어, 장면의 변화와 규칙을 따라가며 시각적 문제를 해결하는지 측정할 기준이 필요합니다. VGI-Bench는 현실적인 입력, 중간 과정 검증, 난이도 조절을 결합해 현재 모델의 시각 추론 능력이 어디까지 가능한지 구체적으로 측정합니다. 가장 높은 전체 점수를 얻은 Seedance 2.0도 51.0점에 그쳐, 영상 생성 품질과 신뢰할 수 있는 절차적 추론 사이에 큰 차이가 있음을 나타냅니다.

핵심 기여

VGI-Bench 벤치마크 구축

27개 작업과 810개 인스턴스로 구성된 VGI-Bench를 구축하고, Visual Organization, Physical Manipulation, Structured Puzzles, Spatiotemporal Dynamics의 네 영역으로 작업을 분류했습니다. 각 작업에는 Spatial, Temporal, Planning, Attribute Grounding, Physics, Topology, Affordance 중 하나 이상의 기술 태그를 부여했습니다. 이 구조는 모델의 전체 점수뿐 아니라 어떤 시각 능력과 작업 영역에서 실패하는지 세분화해 확인하게 합니다.

과정과 목표를 함께 평가

각 인스턴스는 첫 프레임으로 입력 이미지와 텍스트 프롬프트를 받고, 지정된 시각적 절차를 수행하는 비디오를 생성하도록 구성했습니다. 최종 목표까지의 진척도인 Completeness와 영상 전체의 규칙 준수 정도인 Rubric Score를 곱해 Final Score를 계산했습니다. 따라서 목표 상태에 도달했더라도 중간 과정에서 규칙을 위반하면 점수가 낮아지고, 규칙을 지켰지만 목표를 거의 달성하지 못한 영상도 높은 점수를 얻지 못합니다.

추론 실패 원인에 대한 다면적 조사

실험은 물리적 붕괴, 규칙 위반, 객체와 상태의 불일치라는 반복적인 실패 양상을 분류했습니다. 입력 프롬프트와 시각 스타일의 변화, 합성 데이터 Fine-tuning의 전이 범위, Denoising 단계별 상태 변화도 함께 비교했습니다. 그 결과 현실적인 입력에서도 모델의 성능이 제한되며, 합성 학습의 효과는 작업 구조의 겹침에 좌우되고, 이후 Denoising 단계의 Self-Correction은 거의 발생하지 않는 경향이 나타났습니다.

핵심 아이디어 이해하기

기존 비디오 생성 모델은 장면의 외관과 움직임을 그럴듯하게 이어 붙이는 데 강점을 보이지만, 여러 단계의 행동이 규칙을 지키며 목표 상태로 이어져야 하는 문제에서는 다른 능력이 필요합니다. 예를 들어 미로에서는 시작점에서 목표점까지 경로를 유지해야 하고, Hanoi Tower에서는 원판 크기와 이동 규칙을 계속 지켜야 합니다. 최종 프레임만 맞으면 되는 평가로는 중간에 벽을 통과했는지, 물체가 사라졌는지, 금지된 행동을 했는지 구별하기 어렵습니다.

VGI-Bench는 텍스트 프롬프트와 16:9 입력 이미지를 모델에 주고, 목표 절차를 시간에 따라 영상으로 펼치게 합니다. 모델의 출력은 균일하게 추출한 프레임을 통해 목표 달성 정도를 평가받고, 규칙 위반이 의심되는 구간은 더 촘촘하게 다시 검사받습니다. 이렇게 입력에서 행동과 중간 상태를 거쳐 최종 출력에 이르는 경로를 평가하므로, 정적인 이미지 인식이 아니라 시각적 Rollout을 통한 절차적 추론을 측정합니다.

최종 점수는 Completeness와 Rubric Score의 곱입니다. Completeness가 목표까지 얼마나 진행했는지를 나타내고 Rubric Score가 각 규칙 위반 횟수에 따른 감점을 반영하므로, 둘 중 하나가 낮으면 전체 점수도 낮아집니다. 실험에서 Structured Puzzles가 가장 어려웠고 Topology와 Temporal 기술 태그의 성능이 약했으며, 이는 모델이 연결 관계와 여러 단계의 상태 변화를 안정적으로 유지하지 못한다는 의미입니다.

Denoising 단계별 중간 영상을 비교한 결과, 모델은 초기에 만든 가설을 나중에 완전히 뒤집기보다 그대로 고정하고 세부 외관을 다듬는 경향을 보였습니다. 잘못된 상태가 올바른 상태로 바뀌는 Self-Correction 비율은 모든 전이 구간에서 1% 미만이었고, 4→10과 10→20 구간에서는 한 잘못된 가설이 다른 잘못된 가설로 바뀌는 비율이 각각 23.1%와 24.8%였습니다. 따라서 생성 후반부의 반복 계산만으로 초기 추론 오류를 안정적으로 회복하기 어렵다는 결론으로 이어집니다.

방법론

VGI-Bench의 각 작업은 텍스트 프롬프트와 첫 프레임 이미지에서 시작해 지정된 시각적 절차를 비디오로 완성하는 통일된 입출력 형식을 사용합니다. 작업은 단순한 객체 인식이나 위치 찾기를 제외하고, 성공 여부가 중간 상태의 변화와 규칙을 지키는 경로에 의존하도록 설계했습니다. 각 작업은 Easy, Mid, Hard의 세 난이도로 나뉘며, 보통 현재 비디오 모델의 생성 길이에 맞춘 약 5~10초 안에 해결되도록 구성했습니다.

입력 이미지는 웹 이미지, 기존 데이터셋, GPT-Image-2와 Nano Banana Pro 같은 이미지 생성 모델에서 수집했습니다. 생성된 이미지는 의도하지 않은 물체나 배경 오류가 과제 조건을 훼손하지 않도록 사람이 확인하고 반복 수정했으며, 모든 이미지를 16:9 비율로 표준화했습니다. 프롬프트에는 목표, 관련 객체와 속성, 허용·금지 행동, 과제 규칙을 넣고 배경, 배치, 카메라 움직임, 영상 속도에 대한 공통 제어 조건도 추가했습니다.

난이도는 사전 생성 필터와 수동 검토로 조절했습니다. 제안된 작업의 가장 쉬운 인스턴스 두 개를 Sora2, Veo3.1, Kling3.0 등 여러 모델로 시험해 최소 한 모델이 해결하고 최소 한 모델이 실패한 작업만 채택했습니다. 이후 각 인스턴스가 목표에 충실한지, 통상적인 영상 길이에 들어가는지, 프롬프트가 명확한지를 사람이 확인하고 부적합한 항목을 수정하거나 제거했습니다.

평가는 전역 목표 달성과 국소 과정 타당성을 분리합니다. Completeness는 초당 2프레임으로 균일하게 추출한 영상을 보고 complete, partial, failed 중 하나를 부여하고, Rubric Score는 초당 4프레임의 거친 검사에서 의심 구간을 찾은 뒤 해당 구간을 초당 8프레임으로 재검사합니다. 각 규칙 항목의 위반 횟수를 x라 할 때 항목 점수는 $1/(x+1)$ 로 계산하며, 예를 들어 위반이 0회면 1점이고 1회면 0.5점이므로 반복 위반이 추가될수록 감점 폭은 점차 줄어듭니다.

Rubric 검사는 10프레임 Sliding Focus Window와 가장자리 프레임 중첩을 사용해 한 번에 작은 구간만 판단하도록 했습니다. 최종 점수는 Completeness와 Rubric Score를 곱해 계산하므로, 거의 정지한 영상은 규칙을 잘 지켜도 목표 진척도가 낮아지고, 목표 상태에 도달한 영상은 중간 규칙을 위반하면 감점됩니다. 자동 평가는 Gemini-3-Flash를 사용했으며, 사람 판단과 비교한 AUC는 0.803, Pairwise Accuracy는 73.2%로 나타났습니다.

주요 결과

Seedance 2.0이 전체 Final Score 51.0으로 가장 높은 성능을 기록했지만, 모든 작업을 안정적으로 해결하는 수준과는 거리가 있었습니다. 네 영역 중 Visual Organization의 평균 점수는 60.8, Physical Manipulation은 56.0, Spatiotemporal Dynamics는 45.3, Structured Puzzles는 44.6이었습니다. Structured Puzzles의 낮은 점수는 다단계 규칙과 상태 추적이 결합될 때 모델의 실패가 커짐을 나타냅니다.

상용 비디오 모델은 전반적으로 Open Source 모델보다 높은 점수를 얻었습니다. 표의 전체 점수는 Seedance 2.0 51.0, Sora2 36.7, Veo3.1 32.0, Kling3.0 44.0, Wan2.7 35.7, Gen4.5 36.6, MiniMax-H3 44.4, HunyuanVideo-1.5 19.1, Wan2.2 21.6으로 기록됐습니다. 기술 태그별로는 Topology와 Temporal이 가장 약해 연결성 보존과 여러 단계의 시간적 상태 추적이 주요 병목으로 나타났습니다.

정적 목표 상태만 평가하도록 일부 작업을 이미지 출력 형식으로 바꾸자 Nano-Banana-Pro가 평균 55.0, Seedream-5.0-Pro가 평균 52.1을 기록했습니다. Easy에서 Hard로 갈수록 성능이 일관되게 낮아져 난이도 구분이 작동했지만, 이 설정은 중간 과정의 타당성을 평가하지 않고 목표 상태를 추론하고 그리는 능력만 측정합니다. 따라서 이미지 모델의 정적 추론 점수와 비디오 모델의 절차적 추론 점수는 같은 의미로 해석할 수 없습니다.

실패 사례는 물리적 붕괴, 규칙 위반, 객체·상태 불일치로 반복되었습니다. 물리적 붕괴에서는 물체가 변형되거나 서로 관통하거나 갑자기 사라졌고, 규칙 위반에서는 금지 행동이나 필수 중간 단계를 건너뛰면서 그럴듯한 최종 상태에 도달했습니다. 객체·상태 불일치에서는 물체의 정체성이나 위치가 유지되지 않아 자동차가 미로를 달리는 중 두 번째 자동차가 나타나는 사례까지 확인됐습니다.

합성 데이터 Fine-tuning의 효과는 학습 분포와 평가 작업의 구조적 겹침이 클수록 커졌습니다. VBVR-Wan2.2는 Wan2.2-I2V의 전체 점수를 21.5에서 41.2로 높였지만, 영역별로는 Structured Puzzles가 11.6에서 53.2, Visual Organization이 21.4에서 37.6으로 상승한 반면 Spatiotemporal Dynamics는 30.2에서 29.0으로 소폭 낮아졌습니다. 기술별로는 Planning이 10.4에서 44.1, Spatial이 26.4에서 37.3으로 상승했지만 Temporal은 37.0에서 25.8로 하락해, 합성 데이터가 모든 형태의 추론을 균등하게 개선하지 않음을 나타냈습니다.

Denoising 전이에서 읽을 수 없는 상태는 초기 단계에 많았지만, 읽을 수 있게 된 뒤에는 상태가 유지되는 비율이 후반부에 90.6%까지 상승했습니다. 반면 Wrong에서 Correct로 바뀌는 Self-Correction은 모든 구간에서 1% 미만이었고, Wrong에서 다른 Wrong으로 바뀌는 전이는 4→10에서 23.1%, 10→20에서 24.8%였습니다. 이 수치는 후반 Denoising이 초기 가설을 검증해 수정하기보다 이미 형성된 가설을 고정하고 다듬는 데 가깝다는 점을 뒷받침합니다.

기술 상세

VGI-Bench는 네 개의 상호 배타적 작업 영역과 일곱 개의 비배타적 기술 태그를 결합합니다. Visual Organization은 객체를 속성에 따라 배열·그룹화·선택하고, Physical Manipulation은 이동·배치·쌓기·도구 사용을 수행하며, Structured Puzzles는 명시적 제약을 지키면서 상태를 바꾸고, Spatiotemporal Dynamics는 시간에 따른 상태 순서와 의존성을 추론합니다. 기술 태그는 Spatial, Temporal, Planning, Attribute Grounding, Physics, Topology, Affordance로 구성됩니다.

평가 기준은 전역 기준과 국소 기준을 곱하는 방식입니다. Completeness는 2fps 프레임 묶음을 보고 작업별 기준에 따라 complete, partial, failed를 판정하고, Rubric은 4fps로 의심 구간을 찾은 뒤 8fps로 세밀하게 재검사합니다. 각 규칙 항목의 위반 횟수 x에 대해 $1/(x+1)$ 을 적용하므로 위반 0회, 1회, 2회일 때 해당 항목 점수는 각각 1, 0.5, 약 0.33이 되며, 최종 Rubric Score는 모든 항목 점수의 평균입니다.

자동 평가기의 신뢰도 비교에서 Gemini-3-Flash를 사용한 전체 방식은 AUC 0.803과 사람 판단 대비 Pairwise Accuracy 73.2%를 기록했습니다. Adaptive Frame Sampling을 제거하면 AUC 0.772와 69.5%로 낮아졌고, Sliding Focus Window를 제거하면 AUC 0.753과 68.3%로 낮아졌습니다. GPT-5-mini, Claude-Haiku-4.5, Qwen3.6-Plus를 사용한 비교에서는 각각 0.690·64.3%, 0.478·47.9%, 0.624·59.1%가 기록되어 평가 모델과 프레임 검사 방식이 결과에 영향을 줌을 확인할 수 있습니다.

입력 조건 실험에서는 해답을 최대한 구체적으로 적은 Oracle Prompt를 사용해 고수준 추론 부담을 줄였지만, 일부 상용 모델을 제외하면 향상이 제한적이었습니다. Line-art 입력과 현실적인 입력의 비교에서는 특히 Open Source 모델의 순위와 성능 차이가 크게 나타났습니다. 이는 모델이 동일한 작업 구조라도 입력 외관에 따라 다른 출력을 만들며, 추론 능력 평가에서 시각 도메인 일치 여부를 통제해야 함을 뜻합니다.

합성 Fine-tuning의 전이는 작업 구조의 중첩 정도에 따라 달라졌습니다. VBVR-Wan2.2는 Wan2.2-I2V보다 Overlap 그룹에서 40.5점, Semi-overlap 그룹에서 17.1점, Non-overlap 그룹에서 6.2점 높은 평균을 기록했습니다. 그러나 작업별 예외도 있어 untie_knot은 전체 성공률 변화가 작았음에도 Rubric Score가 0.02에서 0.34로 상승해, 공간·논리 능력보다 행동 통제가 개선되는 양상을 나타냈습니다.

Denoising 궤적은 네 개의 Open Source 모델에서 중간 상태를 복호화해 consecutive checkpoint 사이의 변화를 분류하는 방식으로 측정했습니다. 상태 변화는 읽을 수 없음, 안정적, 변화함으로 나누고, 변화함은 Correct→Wrong, Wrong→Correct, Wrong→Wrong′로 다시 구분했습니다. Wrong→Correct가 거의 없고 후반 안정성이 90.6%까지 높아진 결과는 생성 후반부의 계산이 새로운 올바른 절차를 탐색하기보다 초기 가설을 보존하는 쪽으로 작동함을 나타냅니다.

한계점

평가는 현재 비디오 모델의 통상적인 생성 길이인 약 5~10초에 맞춰 설계되어, 수분 단위의 조립이나 장거리 다단계 계획 같은 장기 절차는 포함하지 않습니다. 모든 작업은 16:9 비율의 image-to-video 설정에 한정되며 text-to-video, 다중 이미지 조건, 오디오 조건 생성은 평가하지 않습니다. 프롬프트와 Rubric이 영어로 작성되어 다국어 및 교차 언어 성능도 범위 밖에 있습니다. 작업 모음은 대표적인 시각 추론 영역과 난이도에 초점을 맞춘 것이므로 모든 가능한 시나리오를 포괄하지 않으며, 모델 능력이 향상되면 확장이 필요합니다.

실무 활용

VGI-Bench는 비디오 생성 모델을 단순한 영상 품질이 아니라 목표 지향적 시각 절차의 수행 능력으로 비교할 때 사용할 수 있습니다. 입력 이미지와 프롬프트를 고정한 뒤 Final Score, Completeness, Rubric Score를 함께 측정하면 목표 달성 실패와 과정 규칙 위반을 분리할 수 있습니다. 다만 현재 범위는 image-to-video, 16:9 입력, 약 5~10초의 짧은 절차에 한정됩니다.

비디오 생성 모델의 절차적 추론 성능을 비교할 수 있습니다. 동일한 이미지와 프롬프트를 입력하고 Completeness와 Rubric Score를 함께 계산하면 최종 장면의 유사성과 중간 과정의 규칙 준수를 분리할 수 있습니다. 모델 교체나 Fine-tuning 전후의 성능 변화를 작업 영역과 기술 태그별로 확인하는 데 적합합니다.
비디오 모델의 실패 원인을 진단하는 평가 세트로 사용할 수 있습니다. 물리적 붕괴, 규칙 위반, 객체·상태 불일치 사례를 분류하면 영상 품질 점수만으로 드러나지 않는 문제를 찾을 수 있습니다. 프롬프트 상세도와 입력 이미지 스타일을 바꾸어 Instruction Following과 시각 도메인 민감도도 비교할 수 있습니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

VGI-BenchVideo Generation ModelsZero-Shot Visual ReasoningProcess-Sensitive EvaluationSynthetic Fine-tuningSelf-CorrectionDenoisingVisual Intelligence

용어 해설

과정 민감형 평가(Process-Sensitive Evaluation): — 최종 상태가 맞는지만 보지 않고, 목표를 이루는 동안 중간 상태가 규칙을 지키며 올바르게 변화했는지 함께 측정하는 평가 방식입니다. 비디오 생성 모델의 물리적 일관성, 규칙 준수, 상태 추적 능력을 구분해 평가하는 데 중요합니다.
Denoising 궤적(Denoising Trajectory): — Diffusion 기반 생성 과정에서 초기 잡음 상태가 반복적인 Denoising 단계를 거쳐 최종 영상으로 바뀌는 경로입니다. 각 단계의 중간 결과를 비교하면 모델이 초기 가설을 수정하는지, 아니면 같은 가설을 고정하고 다듬는지 확인할 수 있습니다.
시각 도메인 불일치(Visual-Domain Mismatch): — 평가 입력의 시각적 형태가 모델이 주로 학습한 데이터의 외관과 크게 다른 현상입니다. Line-art나 추상 도형을 입력으로 사용하면 추론 능력보다 입력 외관의 차이 때문에 실패할 수 있어, 실제 이미지와 유사한 입력을 사용하는 것이 평가 타당도에 영향을 줍니다.
합성 데이터 Fine-tuning(Synthetic Fine-Tuning): — 사람이 직접 수집한 영상 대신 생성 모델로 만든 합성 데이터를 사용해 모델을 추가 학습하는 방법입니다. 데이터 규모를 늘리기 쉽지만, 학습 데이터가 포함한 작업 구조와 기술 범위가 실제 과제의 성능 향상 범위를 제한합니다.
Self-Correction: — 생성 과정 중간에 형성된 잘못된 상태나 추론 가설을 이후 단계에서 올바른 상태로 바꾸는 능력입니다. 이 논문에서는 잘못된 상태가 올바른 상태로 바뀌는 비율이 모든 전이 구간에서 1% 미만으로 나타나, 현재 비디오 생성 모델의 수정 능력이 제한적임을 확인하는 기준으로 사용됩니다.

비디오 생성 모델의 시각 추론 능력 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

참조 의미를 보존하는 결과 중심 영상 생성 평가

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

GST-Bench: 비디오 기반 글로벌 공간 인식 벤치

ImageBench의 텍스트-이미지 평가 기준

실제 위기 영상으로 검증한 AI 생성 비디오 탐지

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

참조 의미를 보존하는 결과 중심 영상 생성 평가

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

GST-Bench: 비디오 기반 글로벌 공간 인식 벤치

ImageBench의 텍스트-이미지 평가 기준

실제 위기 영상으로 검증한 AI 생성 비디오 탐지