Artifact-Bench: AI 생성 비디오의 아티팩트 탐지 및 분석을 위한 종합 벤치마크

AI 생성 비디오의 아티팩트는 현실성 판단의 핵심 신호다. 기존 벤치마크는 진위 판단이나 선호도 평가에 편중되어 아티팩트의 원인 해석과 세밀한 인지에 한계가 있었다. Artifact-Bench는 3단계 계층의 아티팩트 분류와 3가지 작업으로 MLLMs의 인식 및 추론 능력을 체계적으로 평가한다. 이를 통해 모델 개발 시 현실성 이해와 세밀한 추론 능력의 필요성을 입증한다.

출발점: AI 생성 비디오는 시간적 일관성, 객체 구조, 의미 일관성의 결함을 드러내며 이는 인간의 현실감 판단에 중요한 신호다. 해결 원리: 3단계 아티팩트 분류 체계와 다단계 평가를 통해 모델의 표면 인식뿐 아니라 원인 진단까지 가능하도록 한다. 변화의 점: 단순한 파라미터 증가나 일반적 추론 강화만으로 세밀한 아티팩트를 반드시 개선하지 않으며, 세밀한 공간-시간 인식 및 인간 정렬성에 근거한 평가가 필요하다.

데이터 구성: 실제 비디오와 AI 생성 대조 비디오를 하이브리드로 수집·제작하여 시맨틱 일치를 보장하고, 다수의 생성 모델을 통해 다양성을 확보. 작업 설계: RVAC는 실제 여부 판단, PVRC는 두 AI 비디오 중 더 현실적인 것을 선택, AID는 6개 후보 중 세부 아티팩트를 선택하는 다지선다형 구성. 계층적 아티팩트 taxonomy: 표면 아티팩트, 구조적 결함, 시간-의미적 위반의 3대 도메인 아래 30개 세부 유형으로 구성. 다중 라벨 주석 가능. 주석 및 검증: 3인 전문가 독립 주석 및 합의 시 2인의 추가 검토. 난이도 계층: L1-L3 구분. 데이터 파이프라인: Gemini 3.1 Pro로 캡션 생성 후 semantically aligned AI 비디오 생성; Kling-2.5/2.1, Veo 3, HunyuanVideo-1.5, daVinci-MagiHuman, LTX-2.3, Wan2.2 등 모델 사용. 평가 프로토콜: 프롬프트 템플릿 제공, 프레임 샘플링 5fps, 고정 디폴트 디코딩. 재현성 확보를 위한 라벨링 기준 엄격.

주요 벤치마크 결과: 19개 모델의 전체 평균은 낮으며, Gemini 3.1 Pro의 RVAC 평균은 74.0으로 가장 높고, PVRC·AID에서도 큰 격차를 보였다. Human Baseline는 RVAC 93.6, PVRC 86.4, 전체 87.7로 모델을 크게 상회한다. AID에서 모든 모델의 평균 정확도는 10% 미만으로 큰 차이를 보인다. Proprietary 모델이 일반적으로 우수하나 인간 전문가와의 차이는 여전하고, 모델 판단은 데이터 편향이나 표면 신호에 의존하는 경향이 있다. 실패 사례(Figure 5)에서 미세한 영역의 아티팩트나 다프레임 분산 아티팩트는 더 어려운 문제로 부각된다. 모델의 판단은 시간적-공간적 통합 추론의 한계로 귀결되며, 인간과의 정렬성 차이는 향후 보상 학습에서의 안정적 신호 설계의 필요성을 시사한다.

아키텍처 차원에서 3단계 아티팩트 계층 구조를 바탕으로 RVAC, PVRC, AID의 파이프라인을 구성하고, 하이브리드 데이터 구축 파이프라인과 L1-L3 난이도 계층화를 제시한다. 수학적 기반은 주로 프롬프트 기반 데이터 생성, 프롬프트 템플릿 설계, 영상 샘플링 및 프레임 간 정합성 분석 등으로 구성되며, 기존 벤치마크 대비 다중Paradigm의 차별성을 강조한다. 구현 및 학습 세부사항으로 Kling-2.5, Kling-2.1, Veo 3, HunyuanVideo-1.5, daVinci-MagiHuman, LTX-2.3, Wan2.2 등의 생성 모델 활용과 5fps 입력 설정을 채택했다.

리소스 제약으로 인해 주석 전문가 수 및 데이터 세트 규모 확장이 필요하며, 향후 더 큰 스케일의 다중 도메인 데이터로 확장해야 한다.