Physics Question Scene Graph(PQSG): 텍스트-투-비디오 생성에서 물리적 타당성의 세분화된 평가

최신 텍스트-투-비디오 모델은 고해상도·현실적 장면을 생성하지만 기본적인 물리 법칙(예: 중력, 흡수, 변형)을 위반하는 결과가 빈번하다. PQSG는 물리적 위반을 객체/행동/물리 계층의 원자적 질문으로 분해해 어떤 요소가 실패하는지 정확히 지적하므로, 평가·디버깅·프롬프트 기반 수정(학습 불필요)을 실무적으로 가능하게 한다.

출발점과 기존 한계: 텍스트-투-비디오 평가에서 기존 메트릭은 주로 시각적 품질이나 전체적인 의미 일치도를 측정해 물리적 위반을 포착하지 못한다. 또한 물리적 평가에는 전제 조건(객체 존재, 행동 발생 등)이 선행되어야 하는데, 단일 점수 방식은 이런 전제의 실패를 구별하지 못해 왜 영상이 낮게 평가되는지 알기 어렵다.

전체 접근과 핵심 아이디어: PQSG는 프롬프트로부터 객체(Object), 행동(Action), 물리(Physics) 카테고리의 원자적 검증 질문들을 생성해 유향 비순환 그래프(DAG)로 구성한다. 그래프의 간선은 질문들 간의 전제-종속 관계를 명시하며, 부모 질문이 'no'이면 자식 체인의 질문은 자동으로 'no'로 표기되어 답변 불가능한 질문의 허위를 방지한다.

질문 생성(QG): VLM에 작업 지시와 1개의 in-context example(프롬프트 + PQSG 노드/엣지)을 제공해 새로운 프롬프트에 대해 PQSG를 생성한다. 생성된 PQSG는 인간 주석과 비교해 precision/recall을 측정하며, 두 VLM(Gemini-2.5-Pro, GPT-5.5)에서 높은 정밀도·재현율(>90%)을 기록했다.

질문 응답(QA) 및 점수화: 각 PQSG 노드(질문)에 대해 VLM에 비디오와 함께 질문을 주고 먼저 자유형(open-ended) 응답을 받는다 → 그 응답을 같은 VLM으로 yes/no로 분류한다. 전체 점수는 'yes' 응답 비율의 평균으로 계산되며, 각 카테고리(Object/Action/Physics)별 점수도 별도 산출한다. 부모가 'no'인 하위 노드는 자동으로 'no'로 처리된다.

구현 세부: 실험에서는 Gemini-2.5-Pro와 GPT-5.5를 QG/QA에 활용했고, 프롬프트 소스는 Physics-IQ, 생성 모델은 Sora 2, Veo 3, Wan 2.1, Cosmos-Predict2.5-14B를 사용했다. 비디오 해상도와 fps(예: Sora 2: 4s, 720x1080, 30fps 등)는 모델별로 다르게 고정해 평가에 반영했다.

메인 벤치마크 결과: FinePhyEval(195 비디오)에 대해 PQSG는 기존 메트릭보다 인간 전체 Likert 점수와 높은 상관을 보였다(예: VideoPhy-2-Autoeval Pearson r = 0.346 대비 PQSG w/ Gemini-2.5-Pro r = 0.467, w/ GPT-5.5 r = 0.478).

세부 카테고리 성능: PQSG의 카테고리별 자동화 점수와 인간 라벨의 Pearson 상관은 Object에서 0.59, Action에서 0.68, Physics에서 0.48(GPT-5.5 QA 기준)로, 객체 검출·속성 파악은 자동화가 잘 수행되나 물리적 평가에서는 개선 여지가 존재한다. 인간 QA를 사용할 경우 Physics 상관은 0.57까지 상승했다.

모델 비교와 QA 결과: PQSG 기준 평균 카테고리 점수는 Sora 2(Overall 0.78), Veo 3(0.80), Wan 2.1(0.59), Cosmos-Predict2.5-14B(0.62)로, 폐쇄형 상용 모델들이 오픈소스 모델들보다 물리성·행동에서 우수했다. QA 정확도는 Gemini-2.5-Pro: Object 87.6%, Action 59.5%, Physics 61.5%; GPT-5.5: Object 88.4%, Action 63.4%, Physics 64.6%를 기록해 physics 질문의 정답률이 상대적으로 낮았다.

반복 개선 실험: PQSG 피드백으로 프롬프트를 자동 보강한 반복 루프에서 평균 PQSG 점수는 초기 iteration에서 iteration1까지 약 +15% 상승, iteration2에서 81.9%에 도달한 뒤 정체하는 패턴을 보였다.

아키텍처 구조: PQSG는 텍스트 프롬프트를 입력으로 받아 Object/Action/Physics 노드로 구성된 DAG를 생성하는 QG 모듈과, 각 노드에 대해 비디오를 관찰해 응답을 산출하는 QA 모듈로 구성된다. DAG의 노드들은 원자적 질문을 표현하며 간선은 전제-종속 관계를 나타낸다.

핵심 메커니즘의 알고리즘적 기반: QG는 VLM에 task instruction과 하나의 in-context example(프롬프트+PQSG 노드+엣지)을 제공해 자동으로 PQSG를 생성한다. QA는 각 질문에 대해 (1) 자유형 응답 생성 → (2) 응답을 yes/no로 분류하는 두 단계로 동작해 단일 단계의 직접 yes/no 질의보다 체인-오브-사고 활용을 허용한다. 최종 점수는 'yes' 응답 비율의 평균으로 계산된다(각 카테고리별 평균 포함).

Prior work 대비 차별점: 기존 메트릭들은 주로 임베딩 기반 유사도나 단일 요약 점수에 의존해 물리적 위반을 국소화하지 못했다. PQSG는 질문 그래프와 의존성 강제를 통해 전제 조건을 확인한 뒤 물리 질문을 수행하므로, '객체가 없음'과 '물리 위반'을 구별해 구체적 실패 모드를 도출한다.

구현 및 학습 세부사항: 실험에서는 Gemini-2.5-Pro와 GPT-5.5를 VLM 백엔드로 사용했다. 비디오 생성은 Sora 2(4s, 720x1080, 30fps), Veo 3(4s, 1280x720, 24fps), Wan 2.1(5s, 1280x720, 16fps), Cosmos-Predict2.5-14B(6s, 1280x704, 16fps)로 수행했다. 인간 주석은 195 비디오에 대해 8명의 비저자 주석자를 통해 객체/행동/물리/전체 Likert(1–5)를 수집했으며, ICC=0.84로 높은 주석 일관성을 확인했다.

정량적 평가 지표: QG 정밀도·재현율은 Gemini-2.5-Pro에서 95.2%/95.2%, GPT-5.5에서 92.0%/99.6%를 기록했다. QA 정확도는 앞서 기술한 바와 같다. Ablation으로는 의존성 제거와 세분화 질문 제거가 인간 상관을 유의하게 저하시켰다.

논문에 명시된 한계만 기술: PQSG의 성능은 QA를 수행하는 VLM의 능력에 의해 제한되며(Table 5의 물리 질문 정확도 64.6%), 실험에서 주로 폐쇄형 VLM을 사용해 재현성 제약이 존재할 수 있다. 또한 PQSG는 프롬프트에 명시된 상호작용만 검증하므로, 프롬프트에 명시되지 않은 물리적 사건은 평가하지 않는다.