Physics Question Scene Graph(PQSG): 텍스트-투-비디오 생성에서 물리적 타당성의 세분화된 평가

최신 텍스트-투-비디오 모델은 고해상도·현실적 장면을 생성하지만 기본적인 물리 법칙(예: 중력, 흡수, 변형)을 위반하는 결과가 빈번하다. PQSG는 물리적 위반을 객체/행동/물리 계층의 원자적 질문으로 분해해 어떤 요소가 실패하는지 정확히 지적하므로, 평가·디버깅·프롬프트 기반 수정(학습 불필요)을 실무적으로 가능하게 한다.

왜 중요한가

핵심 기여

PQSG: 질문 기반 장면 그래프 형식의 세분화된 물리 평가

텍스트 프롬프트로부터 Object / Action / Physics 계층의 원자적 질문들을 생성해 DAG로 연결하는 Physics Question Scene Graph(PQSG)를 도입했다. 그래프의 의존성 규칙(parent→child)을 통해 전제(예: 객체 존재, 행동 발생)가 성립할 때만 물리 질문을 평가해 비현실적 추론을 줄였다.

VLM 기반의 두 단계 파이프라인(QG + QA)

Question Generation(QG) 단계에서 VLM에 in-context example을 제공해 PQSG를 자동 생성하고, Question Answering(QA) 단계에서는 비디오와 개별 질문을 VLM에 입력해 먼저 자유형 응답을 생성한 뒤 이를 yes/no로 분류하는 두 단계 방식을 사용해 평가 품질을 향상시켰다.

FinePhyEval: 물리 중심 프롬프트의 사람 주석 데이터셋

Physics-IQ의 65개 프롬프트를 기반으로 Sora 2, Veo 3, Wan 2.1, Cosmos-Predict2.5-14B로 생성한 총 195개 프롬프트-비디오 쌍에 대해 객체/행동/물리/전체의 Likert(1–5) 주석과 QG/QA 관련 세부 주석을 수집해 공개했다.

자동화 평가의 인간 상관도 향상 및 세부적 실패 모드 식별

FinePhyEval에서 PQSG의 전체 점수는 기존 메트릭들보다 인간 전체 평가와 높은 상관을 보였고(예: PQSG w/ GPT-5.5 Pearson r = 0.478), 인간으로 QA를 수행할 경우 상관은 Pearson r = 0.80에 도달해 높은 상한선을 확인했다.

프롬프트 기반 반복 개선 루프 검증

PQSG 피드백을 바탕으로 GPT-5.5가 프롬프트를 자동 보강하여 Wan 2.2 기반 생성물을 반복 생성한 결과, 1회 반복에서 평균 PQSG 점수가 약 15% 상승하고 반복 2회에서 81.9%로 수렴해 프롬프트 수준의 개선으로 물리성 개선이 가능함을 실험적으로 확인했다.

핵심 아이디어 이해하기

출발점과 기존 한계: 텍스트-투-비디오 평가에서 기존 메트릭은 주로 시각적 품질이나 전체적인 의미 일치도를 측정해 물리적 위반을 포착하지 못한다. 또한 물리적 평가에는 전제 조건(객체 존재, 행동 발생 등)이 선행되어야 하는데, 단일 점수 방식은 이런 전제의 실패를 구별하지 못해 왜 영상이 낮게 평가되는지 알기 어렵다.

방법론

전체 접근과 핵심 아이디어: PQSG는 프롬프트로부터 객체(Object), 행동(Action), 물리(Physics) 카테고리의 원자적 검증 질문들을 생성해 유향 비순환 그래프(DAG)로 구성한다. 그래프의 간선은 질문들 간의 전제-종속 관계를 명시하며, 부모 질문이 'no'이면 자식 체인의 질문은 자동으로 'no'로 표기되어 답변 불가능한 질문의 허위를 방지한다.

질문 생성(QG): VLM에 작업 지시와 1개의 in-context example(프롬프트 + PQSG 노드/엣지)을 제공해 새로운 프롬프트에 대해 PQSG를 생성한다. 생성된 PQSG는 인간 주석과 비교해 precision/recall을 측정하며, 두 VLM(Gemini-2.5-Pro, GPT-5.5)에서 높은 정밀도·재현율(>90%)을 기록했다.

질문 응답(QA) 및 점수화: 각 PQSG 노드(질문)에 대해 VLM에 비디오와 함께 질문을 주고 먼저 자유형(open-ended) 응답을 받는다 → 그 응답을 같은 VLM으로 yes/no로 분류한다. 전체 점수는 'yes' 응답 비율의 평균으로 계산되며, 각 카테고리(Object/Action/Physics)별 점수도 별도 산출한다. 부모가 'no'인 하위 노드는 자동으로 'no'로 처리된다.

구현 세부: 실험에서는 Gemini-2.5-Pro와 GPT-5.5를 QG/QA에 활용했고, 프롬프트 소스는 Physics-IQ, 생성 모델은 Sora 2, Veo 3, Wan 2.1, Cosmos-Predict2.5-14B를 사용했다. 비디오 해상도와 fps(예: Sora 2: 4s, 720x1080, 30fps 등)는 모델별로 다르게 고정해 평가에 반영했다.

주요 결과

메인 벤치마크 결과: FinePhyEval(195 비디오)에 대해 PQSG는 기존 메트릭보다 인간 전체 Likert 점수와 높은 상관을 보였다(예: VideoPhy-2-Autoeval Pearson r = 0.346 대비 PQSG w/ Gemini-2.5-Pro r = 0.467, w/ GPT-5.5 r = 0.478).

세부 카테고리 성능: PQSG의 카테고리별 자동화 점수와 인간 라벨의 Pearson 상관은 Object에서 0.59, Action에서 0.68, Physics에서 0.48(GPT-5.5 QA 기준)로, 객체 검출·속성 파악은 자동화가 잘 수행되나 물리적 평가에서는 개선 여지가 존재한다. 인간 QA를 사용할 경우 Physics 상관은 0.57까지 상승했다.

모델 비교와 QA 결과: PQSG 기준 평균 카테고리 점수는 Sora 2(Overall 0.78), Veo 3(0.80), Wan 2.1(0.59), Cosmos-Predict2.5-14B(0.62)로, 폐쇄형 상용 모델들이 오픈소스 모델들보다 물리성·행동에서 우수했다. QA 정확도는 Gemini-2.5-Pro: Object 87.6%, Action 59.5%, Physics 61.5%; GPT-5.5: Object 88.4%, Action 63.4%, Physics 64.6%를 기록해 physics 질문의 정답률이 상대적으로 낮았다.

반복 개선 실험: PQSG 피드백으로 프롬프트를 자동 보강한 반복 루프에서 평균 PQSG 점수는 초기 iteration에서 iteration1까지 약 +15% 상승, iteration2에서 81.9%에 도달한 뒤 정체하는 패턴을 보였다.

기술 상세

아키텍처 구조: PQSG는 텍스트 프롬프트를 입력으로 받아 Object/Action/Physics 노드로 구성된 DAG를 생성하는 QG 모듈과, 각 노드에 대해 비디오를 관찰해 응답을 산출하는 QA 모듈로 구성된다. DAG의 노드들은 원자적 질문을 표현하며 간선은 전제-종속 관계를 나타낸다.

핵심 메커니즘의 알고리즘적 기반: QG는 VLM에 task instruction과 하나의 in-context example(프롬프트+PQSG 노드+엣지)을 제공해 자동으로 PQSG를 생성한다. QA는 각 질문에 대해 (1) 자유형 응답 생성 → (2) 응답을 yes/no로 분류하는 두 단계로 동작해 단일 단계의 직접 yes/no 질의보다 체인-오브-사고 활용을 허용한다. 최종 점수는 'yes' 응답 비율의 평균으로 계산된다(각 카테고리별 평균 포함).

Prior work 대비 차별점: 기존 메트릭들은 주로 임베딩 기반 유사도나 단일 요약 점수에 의존해 물리적 위반을 국소화하지 못했다. PQSG는 질문 그래프와 의존성 강제를 통해 전제 조건을 확인한 뒤 물리 질문을 수행하므로, '객체가 없음'과 '물리 위반'을 구별해 구체적 실패 모드를 도출한다.

구현 및 학습 세부사항: 실험에서는 Gemini-2.5-Pro와 GPT-5.5를 VLM 백엔드로 사용했다. 비디오 생성은 Sora 2(4s, 720x1080, 30fps), Veo 3(4s, 1280x720, 24fps), Wan 2.1(5s, 1280x720, 16fps), Cosmos-Predict2.5-14B(6s, 1280x704, 16fps)로 수행했다. 인간 주석은 195 비디오에 대해 8명의 비저자 주석자를 통해 객체/행동/물리/전체 Likert(1–5)를 수집했으며, ICC=0.84로 높은 주석 일관성을 확인했다.

정량적 평가 지표: QG 정밀도·재현율은 Gemini-2.5-Pro에서 95.2%/95.2%, GPT-5.5에서 92.0%/99.6%를 기록했다. QA 정확도는 앞서 기술한 바와 같다. Ablation으로는 의존성 제거와 세분화 질문 제거가 인간 상관을 유의하게 저하시켰다.

한계점

논문에 명시된 한계만 기술: PQSG의 성능은 QA를 수행하는 VLM의 능력에 의해 제한되며(Table 5의 물리 질문 정확도 64.6%), 실험에서 주로 폐쇄형 VLM을 사용해 재현성 제약이 존재할 수 있다. 또한 PQSG는 프롬프트에 명시된 상호작용만 검증하므로, 프롬프트에 명시되지 않은 물리적 사건은 평가하지 않는다.

실무 활용

PQSG는 VLM 기반의 자동 평가 파이프라인과 사람 주석 데이터(FinePhyEval)를 공개하여 실무에서 영상 생성 결과의 물리적 오류를 정밀 진단하고, 프롬프트 수준에서 반복적으로 개선하는 워크플로우에 통합할 수 있다.

Text-to-Video 개발 파이프라인에서 자동화된 릴리스 기준 제공(객체/행동/물리별 실패 모드 리포트)
데이터 생성 파이프라인에서 물리적 타당성이 필요한 합성 비디오 필터링(로봇 시뮬레이션, 합성 데이터 생산)
프롬프트 최적화 루프에 PQSG를 연결해 모델 수정 없이 프롬프트 보강으로 품질 향상
VLM 성능 비교 및 물리적 추론 연구에서 세부 실패 모드 분석용 벤치마크

코드 공개 여부: 공개

코드 저장소 보기

키워드

video-generation(video 생성 모델)physics-commonsense(물리 상식)vision-language-model(VLM, 시각-언어 모델)scene-graph(장면 그래프)question-based-evaluation(질문 기반 평가)finephyeval(FinePhyEval 데이터셋)

용어 해설

시각-언어 모델(Vision-Language Model (VLM)): — 이미지/영상과 텍스트를 동시에 입력으로 받아 멀티모달 이해·생성 작업을 수행하는 모델. 본문에서는 PQSG의 Question Generation(QG)과 Question Answering(QA) 단계에서 질문 생성과 비디오 기반 답변을 생성하는 데 사용되어 물리적 검증 파이프라인의 핵심 컴포넌트로 작동한다.
장면 그래프(Scene Graph): — 장면 내 객체(node)와 객체 간 관계(edge)를 구조화한 표현. 본문에서는 물리 검증 질문들을 Object/Action/Physics 노드로 구성한 DAG 형태의 PQSG로 표현해 질문 간 논리적 의존성을 명시하고, 상위 전제 실패 시 하위 질문을 비활성화하는 데 사용된다.
질문 생성(Question Generation (QG)): — 텍스트 프롬프트로부터 검증용의 원자적 질문 집합을 생성하는 과정. 본문에서는 VLM에 in-context example을 제공해 Object/Action/Physics 계층 구조를 가진 PQSG를 자동 생성하며, 생성된 질문의 precision/recall을 인간 기준으로 평가한다.
의존성 그래프(Dependency Graph): — 질문들 사이의 전제-결론 관계를 나타내는 유향 비순환 그래프(DAG). PQSG에서는 객체 존재(Object) → 행동(Action) → 물리(Physics) 순의 부모-자식 관계를 강제해 전제 조건을 확인한 뒤에만 하위 물리 질문을 평가함으로써 비현실적/비판리한 판단을 줄인다.

Physics Question Scene Graph(PQSG): 텍스트-투-비디오 생성에서 물리적 타당성의 세분화된 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드