MSAVBench: 다중 샷 오디오-비디오 생성의 포괄적이고 신뢰할 수 있는 평가를 위한 벤치마크

현존 벤치마크는 데이터 다양성·생성 설정의 확장성 면에서 한계가 있다. MSAVBench는 비디오, 오디오, 샷 수, 레퍼런스의 네 차원에 걸친 포괄적 커버리지를 제공하고, 샷 경계의 self-correction과 주관 지표의 인스턴스-루브릭 기반 평점, 외부 도구를 활용한 증거 기반 평가를 도입해 현대 MSAV 모델의 다면적 성능을 더 신뢰성 있게 측정한다. 또한 19개 모델에 대한 체계적 비교를 통해 공개형 파이프라인의 개선 가능성과 현행 시스템의 한계를 진단한다.

단계적 구성으로 문제를 정의하고 해결하는 구조다. 시작점은 MSAV 생성의 복합성으로, 기존의 단일 샷 또는 더미 수준의 오디오-비디오 평가로는 긴 스토리텔링의 제약을 설명할 수 없다는 점이다. MSAVBench는 (1) 비디오/오디오/샷 수/레퍼런스의 4차원 데이터 디자인, (2) 현실 및 비현실적 프롬프트의 교차-조합으로 긴 형식의 균일한 도메인 일반화 도모, (3) 샷 경계의 self-correction과 다층적 평가 파이프라인으로 잘못된 샷 분할에 따른 오차 전달 최소화, (4) 인스턴스-루브릭과 도구-근거를 통한 주관/객관 평가의 결합으로 인간 평가와의 높은 상관도 확보라는 원리를 따른다. 이로써 긴 서사 구조의 품질, 오디오-비주얼 정합성, 레퍼런스 유지 등 다차원 평가를 동시에 달성한다. 1단계 데이터 설계는 8개 영상 주제군과 6개 언어를 포함한 다양성 확보와 2~15샷의 다단계 난이도 구성을 통해 시나리오의 폭을 확장한다. 2단계 평가 프레임워크는 샷 경계 불확실성으로 인한 오차를 줄이는 자기-수정 루프와, 복합 속성에 대해 도구 기반 증거를 활용하는 허용적 판단으로 신뢰성을 제고한다. 최종적으로 91.5%의 Spearman ρ로 인간 판단과의 고정도 정합을 달성한다.

단계 1: 데이터 설계(4차원, 8개 주제군, 2200개의seed-quadruples, 286 프롬프트, 2198샷) → 단계 2: Prompt-Enhancement를 통한 글로벌-투-샷 스크립트 작성 → 단계 3: 6명의 도메인 전문가가 스크립트 품질 검토 및 정제 → 단계 4: 레퍼런스 미디어 68subject 이미지, 65 오디오 클립, 32 장면 이미지를 구성하고 스크립트의 시맨틱 조건과 매칭을 확보. 샷 경계는 TransNet V2로 초기 추정 후 Qwen3.5로 점검하고 필요 시 병합/분할, 최대 2회 반복. 평가 지표는 총 20개로, Global/Cross-Shot/Intra-Shot/Reference의 4단계 계층으로 구성되고, Specialist 모델/Instance-wise rubric-based scoring/Tool-grounded agentic scoring의 3가지 패널로 구현된다. Visual/Audio 도메인 11개 차원으로 축약한 후 샷-완성도 보정 계수로 최종 점수를 산출한다.

메인 벤치마크 결과: 19개 모델을 평가한 MSAVBench에서 모듈형/에이전트형 오픈 소스 파이프라인이 클로즈드 시스템과의 격차를 좁히는 방향임을 확인했다. Spearman ρ = 0.915로 인간 판단과 높은 정합을 보였고, 평균 샷 수는 7.7샷(범위 215)이며 프롬프트 수는 286개, 샷 수는 2198개다. 샷 수가 증가할수록 특히 오픈 소스 모델의 성능 저하가 더 두드러졌으며, 1115샷 구간에서 Kling-V3-T2V의 감소폭은 3.5%인데 반해 LongLive+HunyuanFoley의 감소폭은 24.5%에 이르는 등 다샷 일관성의 한계가 확인되었다. 실제로 비현실적(Non-Realistic) 프롬프트에서의 점수 하락도 발생했고, 레퍼런스- conditioned 모델의 시각적 일치도도 공통적으로 난이도가 높은 영역에서 낮아졌다. 특히 Lip synchronization, sound attribution, audio-visual synchronization, 다중 화자 맥락에서의 Spk. timbre 일관성 등의 교차-모달 정렬 문제가 여전히 큰 도전 과제로 남았다. 레퍼런스 기반 AV 생성 부분에서의 시각적 충실도는 오픈 소스 DreamID-Omni에 비해 Wan-R2V, HappyHorse-R2V가 더 우수했고, 음성 톤은 유사도에서 근접한 편이었다(Table 5). 비용/효율 측면에서는 도구 기반 평가와 전문가 모델의 조합이 비용을 크게 낮추는 방향임이 확인되었으며, VLM 백본의 변화에도 안정적인 측정이 가능했다.

MSAVBench의 데이터 구성은 4가지 차원(video/audio/shot/reference)으로 구성되고, 각 차원은 하위 속성으로 세분화된다. Stage 1에서 도메인 전문가가 8개의 영상 장르 및 세부 하위 카테고리를 정의하고 주제-대상-장면-스타일의 4튜플을 생성한다. Stage 2에서 GPT-5.4가 초기 프롬프트를 샘플링하고 Prompt-Enhancement 모델이 글로벌-투-샷 스크립트로 재작성한다. Stage 3에서 6명의 도메인 전문가가 스크립트를 검토하고 중복/허위 묘사를 제거한다. Stage 4에서 68subject 이미지, 65 오디오 클립, 32scene 이미지를 수집하고 Gemini 3.1 Pro로 태깅한 후 정합성 확인을 거친다. 평가 파이프라인은 20개 메트릭을 네 가지 레벨로 구성하며, Global( Narrative coherence, Lip synchronization, Sound attribution, Audio-visual Synchronization, Visual quality ), Cross-Shot, Intra-Shot, Reference로 구분한다. 샷 경계 오류를 줄이기 위해 TransNet V2로 초기 경계를 추출하고, Qwen3.5를 이용해 샷을 반복적으로 점검하고 필요 시 병합/분할하며, 최종적으로 샷-캡션 정합성 재조정이 가능하다. 평가 방식은 10개의 메트릭에서 전문 모델, 5개의 메트릭에서 인스턴스-루브릭 기반 점수, 5개의 메트릭에서 도구-근거 기반 점수로 구성된다.

논문은 현재 다중 샷 AV 생성을 네이티브하게 지원하는 오픈소스 모델이 부재하므로, 벤치마크의 일부 구성은 기존 모델의 파이프라인에 의존한다는 한계를 지적한다. 또한 멀티모달 평가의 일부 구성요소가 여전히 VLM 기반 판단에 의존하여 비용이 증가할 수 있으며, Open-source 기반의 완전한 다샷 AV 생성 모델이 나타나면 벤치마크의 구성요소를 확장할 필요가 있다.