KeyFrame-Compass: 키프레임 조건화 비디오 생성의 포괄적 벤치마크와 자동화 평가 프레임워크

비디오 생성에서 제작자는 참조 이미지로 장면 흐름과 구도를 직접 제어하기 위해 키프레임을 사용하며, 모델이 이 제약을 충실히 반영하는지는 실무에서 중요한 품질 척도이다. KeyFrame-Compass는 키프레임을 준수하면서도 자연스러운 비디오를 생성하는 능력을 정량적으로 비교할 수 있는 표준을 제공한다. 이 벤치마크와 자동화된 평가 방법은 키프레임 밀도가 높아질수록 발생하는 성능 저하 및 오픈소스 모델의 스토리보드 해석 실패 같은 실질적 한계를 드러내어 모델 개발과 선택에 실무적 정보를 제공한다.

비디오 생성에서 키프레임은 특정 시간대의 시각적 조건을 고정하는 역할을 하며 모델은 이 조건을 전체 프레임 연속성 안에 자연스럽게 통합해야 한다. 기존 멀티키프레임 조건화 접근은 키프레임을 단일 조건으로 취급하거나 전역적 손실만으로 일괄 학습하는 경우가 많아 키프레임의 존재성, 위치 정확성, 시간적 순서 같은 세부적 실행성을 놓치기 쉽다. 이러한 한계는 키프레임 밀도가 높아질수록 충실도와 시간적 일관성 유지 사이의 충돌로 귀결된다.

벤치마크 설계는 386개의 샘플을 사용하여 도메인 다양성(세 가지), 비디오 구조(두 가지), 프롬프트 세분성(두 가지), 조건화 포맷(두 가지), 키프레임 밀도(네 가지)를 체계적으로 조합하는 방식으로 이루어졌다. 이 구성은 조건화 형식과 밀도가 성능에 미치는 영향을 통제된 실험 조건에서 분리하여 분석할 수 있게 한다. 평가 파이프라인은 키프레임 실행성과 전반적 비디오 품질을 병렬로 측정하도록 설계되었고, 실행성은 여섯 개의 보완적 지표로 분해되어 각 항목을 정량적으로 산정하도록 했다.

아홉 개의 대표적 비디오 생성 시스템을 대상으로 한 실험에서 모델들은 키프레임을 충실히 실행하는 능력과 자연스러운 비디오 합성 능력 사이에서 명확한 트레이드오프를 보였다. 키프레임 제약이 조밀해질수록 전반적 성능이 저하되는 경향이 관찰되었고 이는 높은 밀도에서 키프레임 간의 충돌 또는 모델의 조건 해석 한계와 연관되는 것으로 나타났다. 특히 대부분의 오픈소스 모델이 storyboard-grid 형태의 입력을 시간적으로 정렬된 키프레임 시퀀스로 해석하지 못하는 문제가 측정되어 스토리보드 입력에 대한 모델 측면의 개선 필요성이 드러났다.

벤치마크 데이터 구성은 386개 샘플로 구성되며 각 샘플은 세 가지 응용 도메인 범주와 두 가지 비디오 구조 중 하나, 두 단계의 프롬프트 세분성, 두 가지 조건화 포맷, 그리고 네 수준의 키프레임 밀도 중 하나로 라벨링되어 있다. 키프레임 실행성 평가는 여섯 개의 지표로 분해되어 각 지표가 측정하는 바가 명확히 구분된다. 예를 들어 presence는 키프레임에서 기대되는 객체나 요소의 존재 여부를 판별하는 반면 temporal ordering은 키프레임들 간의 시간적 순서 보존을 측정한다.

논문은 키프레임 조건화 성능을 측정하는 포괄적 프레임워크를 제시했으나 실험 결과에서 모델들이 키프레임 충실성 및 합성 자연스러움 사이의 트레이드오프를 보였음을 보고한다. 키프레임 제약이 촘촘해질수록 전체 성능이 저하되는 현상이 관찰되었고 이는 고밀도 조건화에서 모델의 제약 충돌 처리 능력이나 학습 범위에 기인할 가능성이 있다. 또한 다수의 오픈소스 모델이 storyboard-grid 입력을 시간적 시퀀스로 해석하지 못하는 점이 확인되어 특정 입력 포맷에 대한 일반화 한계가 존재한다.