Physics-IQ Verified: 물리적 이해 평가의 정밀화

비디오 생성 모델의 물리 현상 이해를 측정하는 벤치마크의 신뢰도 문제를 해결하기 위해, 프롬프트 품질, 아티팩트 제거, 샘플 단위 점수 도입을 제안한다. 이를 통해 물리적 규칙에 대한 모델의 실제 추론 능력을 더 정확하게 반영하고, 벤치마크 결과의 해석 가능성과 재현성을 높인다.

출발점: Physics-IQ는 실제 물리 실험 ground-truth와 VGMs의 예측 영상 간의 차이를 IoU/MSE로 비교한다. 한계: 프롬프트의 불명확성, 관찰 가능한 아티팩트, 데이터 집계 방식으로 인해 물리 이해도와 시각적 현실감이 비선형적으로 얽혀 측정 신호가 왜곡될 수 있다. 해결 원리: 프롬프트를 명확하게 구조화하고, 아티팩트를 제거하며, 샘플 단위로 점수를 산정해 각 샘플의 실패 원인을 traceable하게 만들고, 모든 샘플에 균등한 영향력을 부여한다. 달라진 점: 개선된 프롬프트가 대부분의 모델에서 점수를 상승시키고, 아티팩트 제거는 점수를 감소시키나 측정의 순도를 높인다. 이로써 물리 이해의 신뢰성 있는 신호를 얻고 랭킹 변화의 해석 가능성을 높인다.

전체 접근: 세 가지 축으로 Physics-IQ 벤치마크를 정교화한다. 첫째, 프롬프트 품질 개선(Fix 1): Original Prompt를 6개 필드로 재구성하고, CAM/STYLE/SCOPE를 도입해 모델의 입력 인터페이스에 맞춘 템플릿을 사용한다. 둘째, 산출물 집계 개선(Fix 2): 샘플 n에 대해 per-sample Physics-IQ Verified 점수를 정의하고, 4개 지표(SP, ST, WS, MSE)의 합산을 샘플 단위로 수행한다. 셋째, 아티팩트 제거(Fix 3): ground-truth 영상에서 end_effect_frames와 freeze_areas를 수동 주석으로 표시하고, 해당 구간의 활성화를 제거하여 불필요한 신호를 차단한다. 공식 수식: s_n^{Physics-IQVerified} = 1/4 [ clip_0_1( r_MSE^n / vMSE^n ) + sum_{M∈{SP,ST,WS}} clip_0_1( vMIoU^n / rMIoU^n ) ]; 전체 점수은 N개의 샘플의 산술평균으로 결정된다. 여기서 v는 관찰 지표, r은 두 번째 Take의 기준점으로 각 샘플별 물리적 변이 한도를 반영한다. 이 구조는 샘플별 실패 원인을 바로 추적할 수 있게 한다.

주요 벤치마크 결과: Original Score 대비 Verified Score로의 이동에서 대부분의 VGMs의 점수가 증가했다(예: Cosmos3-N, Grok Video, HunyuanV-1.5). Ranking 변화가 관측되며, Wan 2.2는 Verified에서 하락하고 Sora 2 및 Cosmos3-N은 상승했다. 상관관계 분석에서 Spearman ρ = 0.65, Kendall τ = 0.46으로, 원래 평가와 비교해 의미 있는 랭킹 차이가 나타났다. 부가 분석에서 Prompt의 Best-Practice(Prompt 개선)가 점수의 하위 구성요소를 유의하게 향상시켰고, Artifact Cleaning은 총 점수를 감소시키나 측정의 순도를 높였다. Bootstrap 재표본화 결과도 랭킹 차이가 의미 있음을 시사했다. 예시 수치: Cosmos3-N original bpp 27.8 ± 2.2 / SP 40.8 ± 1.8 / ST 19.7 ± 3.2 / WS 25.1 ± 1.5 / MSE 0.8 ± 0.1; Wan 2.2 original bpp 36.6 ± 0.6 / SP 53.2 ± 0.7 / ST 28.2 ± 0.7 / WS 35.3 ± 0.6 / MSE 0.6 ± 0.0.

아키텍처/데이터: 66개 물리 실험으로 구성된 Physics-IQ 데이터셋에서 I2V 벤치마크를 재현. Ground-truth는 GT1/GT2로 두 차례 촬영된 실제 영상. 모델은 Wan 2.2, Grok Imagine Video, HunyuanV-1.5, Cosmos3-Nano, P-Video, Sora 2의 6개 이미지-투-비디오 VGMs를 사용. Prompting: 6-field 템플릿 SETUP, SCENE, ACTION, CAM, STYLE, SCOPE으로 재구성. 아티팩트 제거: end_effect_frames, freeze_areas 주석으로 마크하여 프롬프트/실험 설정에서 발생하는 악의적 신호 제거. 수학적 정의: per-sample s_n^{Physics-IQVerified} = 1/4( clip_0_1(r^n_MSE / v^n_MSE) + ∑_{M∈{SP,ST,WS}} clip_0_1( v^n_M / r^n_M ) ); 최종 s^{Physics-IQVerified} = (1/N) ∑_n s^n. 평가 변수로 SP, ST, WS, MSE를 사용하고, MSE의 경우 보정으로 음의 방향으로 해석. 실험 설계: 8가지 설정(Original/bpp prompts × Original/verified GT × Original/verified score)로 분해된 factorial 디자인. 통계: 표본별 표준편차, 대칭적 신뢰구간 및 부트스트랩으로 순위 상관도(Spearman ρ, Kendall τ) 보고.