MultiRef-Compass: 다중 참조 기반 오디오-비디오 생성의 포괄적 평가 벤치마크

MultiRef-Compass는 350개 샘플과 재심판을 포함한 MLLM 기반 평가체계를 결합해 다중 참조 조건에서 오디오·비디오 생성의 참조 보존, 참조 바인딩, 음성-시각 정합 및 지침 준수 능력을 정량적으로 진단하는 벤치마크이다. 이 데이터셋은 보드별 자산 조합과 구조화된 프롬프트로 구성되어 동일 대상의 다중 뷰와 이종 엔티티 결합을 체계적으로 평가한다. 자동 지표와 MLLM 채점의 결합으로 사람 선호와 높은 상관을 확보했다.

왜 중요한가

다중 참조를 조건으로 하는 오디오·비디오 생성(MR2AV)은 단일 텍스트나 단일 이미지 조건보다 참조들 간의 관계 이해와 참조 대상의 정확한 바인딩을 요구한다. 기존 벤치마크는 단일 참조나 텍스트 중심 평가에 머물러 MR2AV의 핵심 실패 모드를 포착하지 못했으므로, 이 논문은 MR2AV 특유의 참조 결합·자연스러운 통합·멀티모달 정합을 따로 떼어 정량화할 수 있는 도구를 제공했다. 따라서 연구자와 엔지니어가 참조 보존, 음성-시각 동기화, 지침 준수 등 개별 역량을 진단하고 개선 우선순위를 정할 수 있게 됐다.

핵심 기여

350개 표본으로 구성된 MR2AV 전용 벤치마크 구축

MultiRef-Compass는 총 350개의 엄선된 샘플을 포함하며 보드별로 동일-다중뷰, 이종 엔티티 결합, 다중 주체 시나리오를 포괄한다. 자산 팩은 주체·객체·장면·비디오·보이스로 구성되어 재사용 가능한 조합 파이프라인을 통해 샘플을 생성한다. 프롬프트는 구조화된 스키마와 GPT-5.5 기반 생성·검증을 거쳐 메타데이터와 연동되는 평가 라우터를 지원한다.

자동 지표와 재심판(리저징) 강화된 MLLM 판정의 하이브리드 평가 프레임워크

평가는 기본 품질(Basic Quality), 참조 일관성(Reference Consistency), 음성-시각 정합(Audio-Visual Consistency), 지침 준수(Instruction Following)의 네 차원과 14개 하위 지표로 구성된다. 자동 도구(DOVER++, Audiobox, LatentSync, ECAPA-TDNN 등)를 가능한 항목에 적용하고, MLLM 기반 체크리스트와 루브릭으로 섬세한 항목을 채점한다. 초기 판정 후 동일 문항의 모델 간 일관성 문제를 가려내는 재심판 단계를 적용해 항목 수준의 신뢰도를 향상시켰다.

임베딩 유사도 과대평가를 보정하는 Paste-Naturalness 계수 도입

Entity Fidelity의 자동 유사도(EF_base)는 참조를 그대로 복사한 경우에도 높게 나오므로, MLLM-추정의 P_paste(r) ∈ [0,1]을 곱해 최종 점수 EF_final = EF_base × P_paste(r)로 보정한다. 이 보정은 복사-붙여넣기 아티팩트를 완화해 임베딩 기반 지표의 순위를 실제 합성 자연스러움과 더 잘 정렬시켰다. 보정 결과로 SkyReels-V3 같은 모델의 과대평가 사례가 랭킹에서 하향 조정됐다.

다양한 공개·비공개 MR2AV 시스템에 대한 대규모 평가 실행과 진단 결과 공개

논문은 Seedance 2.0, Kling 3.0, HappyHouse 1.1, Gemini-Omni, Wan 2.7, Vidu Q3-Mix, Wan2.1-VACE, SkyReels-V3 등 8개 시스템을 동일 입력 조건에서 비교했다. 실험은 A800 GPU에서 실행되었고, 모델별로 10초·1080p 출력(플랫폼 제약시 권장 설정)을 사용해 결과의 실용적 차이를 반영했다. 결과는 모델별로 네 차원에서 상이한 강·약점을 드러내며, 특히 참조 결합과 지침 준수에서 현저한 개선 여지가 있음을 확인했다.

핵심 아이디어 이해하기

문제의 출발점은 다중 참조를 조건으로 한 생성에서 요구되는 '교차-참조 이해'와 '조합적 바인딩' 능력이다. 동일 인물의 여러 뷰가 주어질 때 모델은 이를 동일 인물의 시점 변형으로 해석해야 하고, 서로 다른 엔티티 참조가 주어질 때는 해당 엔티티를 지정된 역할과 상호작용으로 연결해야 한다. 단순 임베딩 유사도만으로는 뷰 혼동(identity splitting)이나 복사-삽입 아티팩트를 분별하지 못하므로 다층적 진단이 필요하다.

방법론

MultiRef-Compass는 자산 팩 구성, 보드별 자산 조합, 구조화된 프롬프트 생성의 세 단계 파이프라인으로 데이터셋을 구축했다. 자산 팩은 주체(subject), 객체(object), 장면(scene), 비디오, 보이스로 분류되며 주체 팩은 비디오에서 다중 뷰를 추출하거나 AIGC를 통해 보조 참조를 생성하여 3~6개의 보기를 확보한다. 보드 구성은 동일-다중뷰(B1), 이종 조합(B2), 다중 주체(B3)로 구분되며 확장 보드(B4)는 오디오·비디오 참조를 포함해 티엠버 보존을 평가한다.

주요 결과

벤치마크 통계상 전체 350개 샘플은 메인 보드 300개와 챌린지 보드 50개로 구성되며, 샘플의 70%는 실사 참조이고 30%는 만화 스타일 참조이다. 프롬프트 평균 길이는 약 600자이며 60%는 효과음 포함, 30%는 배경음악 포함, 70%는 대사 포함, 40%는 외형 제약, 30%는 멀티샷 구조 요구를 포함한다. 인간 선호와의 상관관계는 Pearson 기준으로 Basic Quality 0.8979, Reference Consistency 0.9380, Audio-Visual Consistency 0.9217, Instruction Following 0.9644로 보고되어 평가 체계가 사람 선호를 잘 반영함이 확인되었다.

기술 상세

전체 아키텍처는 자산 팩 기반의 샘플 합성 파이프라인과 평가 파이프라인으로 분리되어 있다. 샘플 생성부는 패키지화된 주체·객체·장면·비디오·보이스 자산을 라우팅 규칙에 따라 보드별 구성으로 재조합하고, GPT-5.5를 사용해 모달리티별 필드(비디오·오디오·대사)를 합쳐 구조화된 프롬프트를 만든 뒤 인간 리뷰를 통해 접지(grounding)를 확인한다. 이러한 설계는 참조 구성·난이도·평가 활성화 규칙을 메타데이터로 기록해 평가 라우터가 적용 가능한 지표만 골라 자동·MLLM 평가를 수행하도록 한다.

한계점

MultiRef-Compass는 통제된 진단 벤치마크로 설계되어 모든 창작 도메인·문화 스타일·참조 모달리티를 포괄하지는 않는다. 평가 표준은 각 샘플을 최대 세 장의 참조 이미지로 표준화하므로 훨씬 큰 참조 집합에 대한 성능은 범위 외이다. 자동 증거 도구와 SLS 같은 동기화 지표는 동적 얼굴이나 만화풍 대상에서 한계가 있어 일부 샘플에서 편향된 점수를 줄 수 있음이 명시됐다.

실무 활용

MultiRef-Compass는 연구·제품 실험에서 다중 참조 기반 오디오·비디오 생성 시스템의 약점을 진단하는 실무용 평가 테이블로 활용될 수 있다. 구조화된 프롬프트와 메타데이터를 통해 특정 참조 구성이나 음성 요구사항을 표준화된 입력으로 재현할 수 있어 A/B 실험이나 품질 회귀 테스트에 적합하다. 저장소가 공개되어 있어 실험 파이프라인에 벤치마크를 직접 통합할 수 있다.

모델 개발자는 새로운 참조 합성 알고리즘을 도입할 때 참조 보존(EF), 바인딩(BC), 복사-붙여넣기 보정(P_paste) 등 세부 지표별 성능 변화를 검증할 수 있다.
품질 관리팀은 자동 지표와 MLLM 판정의 조합을 이용해 배치별 회귀를 탐지하고 재심판 과정을 통해 판정 일관성을 확보할 수 있다.
서비스 운영자는 멀티샷 흐름, 음향 효과 포함 여부, 특정 의상·소품 제약 등 프롬프트 요구사항 준수도를 정량적으로 모니터링해 정책·콘텐츠 파이프라인에 적용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

MR2AV(다중 참조 기반 오디오-비디오 생성)MLLM-as-a-Judge(대형 다중모달 언어모델 판정자)Reference Consistency(참조 일관성)Audio-Visual Consistency(음성-시각 정합)Asset Composition(자산 조합 파이프라인)

용어 해설

대형 다중모달 언어모델 판정자(MLLM-as-a-Judge): — 복수 모달 출력의 세부 항목을 채크리스트·루브릭으로 점수화하기 위해 대형 다중모달 언어모델을 평가자 역할로 사용하는 체계이다. 입력된 증거(비디오·오디오·프롬프트)와 체크리스트를 함께 제공해 1–5 MOS 점수를 산출하며, 불확실한 판정은 재심판(rejudging) 단계로 교정한다. 자동화된 확장성과 인간 선호와의 정렬을 동시에 목표로 하여 대규모 벤치마크 평가에 사용된다.
복사-자연스러움 보정계수(Paste-Naturalness Coefficient): — 자동 임베딩 유사도로 산출된 유사도 점수가 단순 복사(copy-and-paste)로 부풀려지는 현상을 보정하기 위해 도입된 계수이다. EF_base에 곱해 최종 Entity Fidelity를 얻으며, 보정값이 0에 가까우면 복사 흔적이 강하다고 판단된다. 임베딩 기반 지표의 과대평가를 완화해 실제 합성 품질을 더 잘 반영하는 데 목적이 있다.
잠재공간 기반 립싱크 측정법(LatentSync): — 대화가 포함된 샘플에서 얼굴 전면성 여부를 먼저 필터링한 뒤, 음성과 입 모션의 시간적 동기화를 잠재 공간 특성을 이용해 정량화하는 방법이다. 안정적인 전면 얼굴에서만 적용하여 자동 측정의 신뢰도를 높이며, 주로 SLS 평가에 사용된다. 동적 얼굴이나 다중 화자 장면에서는 민감도가 떨어질 수 있다.
음성 임베딩용 ECAPA-TDNN(ECAPA-TDNN): — 화자 특성(티엠버)을 비교하기 위해 사용하는 음성 임베딩 네트워크로, 입력 음성에서 스피커 임베딩을 추출해 유사도를 계산한다. MultiRef-Compass에서는 보이스 레퍼런스가 주어진 경우 생성 음성의 티엠버 유사도를 측정하는 Timbre Similarity에 적용됐다. 음성 전처리와 보정 절차를 거쳐 보정된 유사도 점수를 산출한다.

MultiRef-Compass: 다중 참조 기반 오디오-비디오 생성의 포괄적 평가 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

참조 의미를 보존하는 결과 중심 영상 생성 평가

Audio-Video 생성 모델의 Attention Triangle

OmniAssistBench로 측정한 영상 보조 모델의 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

참조 의미를 보존하는 결과 중심 영상 생성 평가

Audio-Video 생성 모델의 Attention Triangle

OmniAssistBench로 측정한 영상 보조 모델의 한계