참조 의미를 보존하는 결과 중심 영상 생성 평가

왜 중요한가

기존 영상 생성 평가는 시각적 품질이나 시간적 일관성에 집중해, 참조 이미지의 의미를 유지하면서 지시된 최종 상태에 도달하는 능력을 충분히 분리하지 못했다. 이 연구는 결과 달성과 생성 신뢰성을 별도 축으로 측정해, 모델이 보기 좋은 프레임은 만들지만 과제의 최종 결과를 놓치는 문제를 수치와 기준별 통과율로 구분한다.

핵심 기여

결과 중심 영상 생성 과제 정립

영상 생성 결과가 지시된 완성 상태에 도달하면서 참조 이미지의 과제 관련 의미 관계를 유지하도록 과제를 정의했다. 중간 작업 단계의 완전한 재현은 필수 조건에서 제외했다. 대신 결과 실현과 의미적 연결을 함께 통과해야 하는 평가 관점을 마련했다.

SemComp-Data 구축

Koala-36M의 전체 맥락 영상을 네 단계로 처리해 참조 이미지, 간단한 지시문, 상세 지시문, 결과 중심 영상 클립으로 구성된 1,273개 평가 인스턴스를 만들었다. 참조와 결과를 같은 원본 영상에서 추출해 작업의 실현 가능성과 시각적 연결을 보존했다. 여섯 도메인의 실제 작업 사례를 포함했다.

SemComp-Bench 평가 프로토콜

VLM이 구조화된 이진 질문에 답하도록 설계해 Outcome Achievement와 Generation Reliability를 분리 측정했다. OA는 네 기준의 공동 통과율이고 GR은 다섯 신뢰성 기준의 평균이다. 각 판단에 시각적 근거를 연결해 실패 원인을 기준별로 추적할 수 있게 했다.

핵심 아이디어 이해하기

일반적인 영상 생성 평가는 한 장면의 선명도나 프레임 사이의 움직임이 자연스러운지를 주로 확인한다. 그러나 참조 이미지의 지폐를 거북이 모양으로 접으라는 지시에서는 접는 중간 동작을 모두 재현하지 않아도 되지만, 최종 결과가 실제 지폐와 연결된 거북이 모양이어야 한다. 따라서 이 과제의 핵심은 과정 복원이 아니라 참조 맥락을 잃지 않은 최종 상태의 달성이다.

SemComp-Bench는 이 조건을 네 개의 이진 기준으로 분해한다. 생성 영상이 지시된 결과에 도달했는지, 참조 이미지의 과제 관련 속성을 유지했는지, 핵심 객체가 영상 전체에서 사라지거나 다른 객체로 바뀌지 않았는지, 장면·시점·배경이 갑자기 전환되지 않았는지를 각각 판정한다. 네 값이 모두 1일 때만 샘플의 OA 값이 1이 되므로, 한 기준의 실패도 전체 결과 달성 판정을 막는다.

생성 신뢰성은 결과 달성과 별도로 계산한다. 물리적으로 가능한 움직임인지, 흐림이 없는지, 합성 흔적이 없는지, 같은 장면 안에서 깜빡임이나 국소 변형이 적은지, 텍스트와 인터페이스가 읽을 수 있는지를 다섯 개의 이진 질문으로 평가한다. 예를 들어 결과를 만들었더라도 장면 내부의 시공간 일관성 기준이 낮으면 GR Score가 떨어지며, 반대로 프레임 품질이 좋아도 최종 과제를 달성하지 못하면 OA Score가 낮아진다.

방법론

SemComp-Data는 약 20K개의 Koala-36M 영상을 입력으로 삼아 네 단계의 큐레이션을 수행한다. 먼저 talk show, interview, news 같은 제목 패턴을 이용해 시각 정보만으로 이해하기 어려운 영상을 제외하고, 남은 영상에서 균일하게 프레임을 뽑아 video abstract를 만든다. VLM은 이 요약을 여섯 도메인 중 하나에 배정하며, 시각 근거가 부족한 영상은 버린다.

다음 단계에서는 도메인과 작업 범주별로 정한 reference state와 outcome state를 기준으로 VLM이 두 프레임의 timestamp를 찾는다. 중간 구간 전체를 직접 찾는 대신 대표적인 참조 프레임과 결과 프레임을 먼저 추출하고, 두 프레임의 순서를 가리지 않은 상태에서 어느 쪽이 결과인지 묻는 품질 검사를 수행한다. VLM의 답과 처음 찾은 결과 프레임이 다르면 모호한 사례나 시각 근거 부족 가능성을 고려해 해당 쌍을 폐기한다.

검증된 결과 timestamp를 시간적 기준점으로 삼아, shot detection과 같은 장면 병합을 적용한다. 결과 프레임이 포함된 핵심 구간을 고르고 시각적으로 일관된 인접 구간을 합쳐 최소 3초의 결과 중심 클립을 만든다. 이렇게 추출된 클립의 평균 길이는 약 4.03초이며, 중간 작업 과정과 무관한 장면을 줄이면서 완성 상태의 시간적 근거를 남긴다.

마지막으로 참조 프레임과 결과 클립에서 간단한 지시문과 상세 지시문을 만든다. 간단한 지시문은 30단어 이하로 동사, 참조 대상, 전치사, 결과 상태를 결합하고, Attribute Selection은 Object Element, Person Identity, Object Appearance, Scene 중 정렬 유형을 고른 뒤 보존·폐기할 속성을 나눈다. 상세 지시문은 이 제약에 배경·조명·색상·형태·구성 요소 정보를 덧붙여 결과 상태와 참조 기반 보존 조건을 동시에 지정한다.

주요 결과

SemComp-Core는 여섯 도메인에서 각각 10개씩 뽑은 60개 인스턴스로 구성되며, 각 모델은 720p 영상 하나를 생성한 뒤 전체 시간 범위에서 27개 프레임을 균일하게 샘플링했다. 상세 지시문 조건에서 HunyuanVideo-1.5-720P-I2V가 OA Score 37.8%로 가장 높았고, Wan2.2-I2V-A14B가 28.3%로 뒤를 이었다. 최고 OA Score도 40% 아래에 머물러 최종 결과 달성과 참조 기반 의미 보존을 동시에 만족하기가 어려웠다.

Seedance 2.0은 GR Score 91.8%로 가장 높았고, 평가된 오픈소스 모델 중에서는 Wan2.2-I2V-A14B가 89.0%를 기록했다. 모든 모델에서 장면 내부 시공간 일관성이 주요 병목으로 나타났으며, 해당 통과율은 0.328에서 0.739 범위였다. 즉 개별 프레임은 선명하게 만들더라도 같은 장면 안에서 깜빡임·중복·국소 기하 변형 없이 상태를 이어가는 능력은 부족했다.

I2V는 세 모델 계열 모두에서 상세 지시문 조건의 T2V보다 일관되게 높은 OA Score를 기록했다. 개선 폭은 주로 의미적 그라운딩, 객체 일관성, 전역 시각 연속성에서 발생했으며, 결과 실현 통과율은 두 모델 계열에서 T2V가 더 높았다. T2V 안에서는 상세 지시문이 결과 실현과 의미적 그라운딩을 높였지만, 간단한 지시문은 더 적은 제약으로 인해 객체 일관성과 전역 연속성에서 상대적으로 높은 값을 보였다.

생성 사례에서는 여러 모델이 참조 이미지의 외형을 유지하고 작업 수행 과정을 담았지만 최종 결과를 완성하지 못하는 경우가 반복됐다. Wan2.2-I2V-A14B와 Phantom-1.3B 사례에서는 물리적으로 어색한 변환과 갑작스러운 시각 전환도 나타났다. 이 결과는 시각적 신뢰성이 높다는 판단과 지시된 과제를 달성했다는 판단을 분리해야 함을 뒷받침한다.

기술 상세

각 생성 영상에서 시간 순서를 유지한 27개 프레임을 균일하게 샘플링하고, VLM에 구조화된 이진 질문을 입력한다. OA에서는 결과 실현, 의미적 그라운딩, 그라운딩된 객체 일관성, 전역 시각 연속성을 각각 통과 여부로 기록하며, 샘플 $i$ 의 네 값은 $a_{or}^{i}, a_{sg}^{i}, a_{gec}^{i}, a_{gvc}^{i}$ 이다. 각 변수는 통과면 1, 실패면 0이고, 네 값의 곱 $A^{i}=a_{or}^{i}a_{sg}^{i}a_{gec}^{i}a_{gvc}^{i}$ 가 샘플의 OA 성공을 결정한다.

데이터셋 전체 OA Score는 샘플 수 $N$ 에 대해 $OA Score = 1/N \sum_{i=1}^{N} A^{i}$ 로 계산한다. 입력은 각 샘플의 네 이진 판정이고, 곱셈은 네 기준을 모두 만족하는 샘플만 1로 남기며, 평균은 전체 샘플 중 공동 성공 비율을 출력한다. 예를 들어 네 기준 중 하나라도 0이면 곱은 0이므로 개별 기준 통과율이 높아도 공동 OA Score에는 포함되지 않는다.

GR은 물리적 타당성, 시각적 명료성, artifact-free rendering, 장면 내부 시공간 일관성, 텍스트·인터페이스 무결성을 사용한다. 샘플 $i$ 의 다섯 값은 $g_{pp}^{i}, g_{vc}^{i}, g_{afr}^{i}, g_{wsc}^{i}, g_{ti}^{i}$ 이고, $G^{i}=1/5(g_{pp}^{i}+g_{vc}^{i}+g_{afr}^{i}+g_{wsc}^{i}+g_{ti}^{i})$ 로 평균낸다. 각 값이 모두 1이면 샘플 GR은 1이고, 세 기준만 통과하면 0.6이 되므로 이 점수는 한 기준의 실패가 전체를 0으로 만드는 OA와 다르게 부분적인 신뢰성 저하를 반영한다.

평가는 Doubao-Seed-1.8을 VLM으로 사용해 서로 다른 시점에 세 번 수행했으며, 보고값은 세 실행 점수의 산술평균이다. 모든 조건에서 720p 영상 하나를 만들고, 명시적 seed 제어가 가능한 경우 고정 seed를 적용했다. 이 설정은 모델별 생성 결과를 같은 프레임 수와 동일한 이진 판정 구조 안에서 비교하도록 만든다.

Instruction Structuring에서는 결과 상태 자체와 참조 이미지에서 유지해야 할 속성을 분리한다. 예를 들어 사람의 정체성과 과제 관련 외형은 보존 대상으로 지정할 수 있지만, 결과 영상에 새로 나타난 배경·조명·색상·형태는 명시적으로 보존 속성으로 선택되지 않는 한 참조 외형 제약이 아니다. 이 구분은 결과 달성에 필요한 변화와 참조 일관성을 위해 남겨야 할 정보를 한 지시문 안에서 분리하는 역할을 한다.

한계점

SemComp-Data를 활용한 task-specific training이 실제 모델 성능을 개선하는지는 아직 실험적으로 검증되지 않았다.

실무 활용

SemComp-Bench는 image-to-video 또는 text-to-video 모델이 참조 이미지의 의미를 보존하면서 지시된 최종 상태를 생성하는지 점검하는 평가 절차로 활용할 수 있다. 참조 이미지, 간단한 지시문, 상세 지시문, 결과 중심 클립을 동일한 작업 단위로 묶고 OA와 GR을 함께 계산하므로 모델 비교와 실패 기준별 진단에 적합하다.

참조 이미지 기반 영상 생성 모델의 최종 결과 달성률 비교
I2V와 T2V의 의미적 그라운딩 및 객체 일관성 비교
상세 지시문과 간단한 지시문이 생성 결과에 미치는 영향 측정
물리적 위반·흐림·합성 흔적·장면 내부 불안정의 기준별 점검

코드 공개 여부: 공개

코드 저장소 보기

키워드

Semantic Task Completion Video Generation(의미적 작업 완료 영상 생성)SemComp-Data(의미적 작업 완료 평가 데이터셋)SemComp-Bench(의미적 작업 완료 벤치마크)Semantic Grounding(의미적 그라운딩)Outcome Achievement(결과 달성)Generation Reliability(생성 신뢰성)VLM(비전-언어 모델)

용어 해설

의미적 그라운딩(Semantic Grounding): — 참조 이미지의 모든 외형을 그대로 복사하는 대신, 과제 수행에 필요한 객체·정체성·재질·구조 같은 의미적 관계와 속성을 생성 결과에 유지하는 기준이다. 이 논문에서는 지시된 결과를 만들면서도 결과가 참조 이미지와 연결되어 있는지 판정하는 데 사용된다.
결과 달성(Outcome Achievement): — 생성된 영상이 지시문에 적힌 완성 상태에 도달했는지 측정하는 평가 차원이다. 결과 실현, 의미적 그라운딩, 그라운딩된 객체의 일관성, 전역 시각 연속성 네 기준을 모두 통과해야 샘플의 OA 성공으로 계산된다.
생성 신뢰성(Generation Reliability): — 영상이 과제를 달성했는지와 별개로, 생성 과정과 결과에 물리적 위반·흐림·합성 흔적·장면 내부 불안정·손상된 텍스트가 없는지 측정하는 차원이다. 다섯 가지 이진 기준의 평균으로 GR Score를 계산한다.
비전-언어 모델(Vision-Language Model): — 이미지나 영상의 시각 정보와 자연어 지시를 함께 처리하는 모델이다. SemComp-Bench에서는 정해진 이진 질문에 답하고 시각적 근거를 연결해 참조-결과 관계, 결과 달성 여부, 영상 품질을 판정하는 평가자로 사용된다.
결과 중심 영상 클립(Outcome-Centric Video Clip): — 전체 작업 과정을 모두 담기보다 완성된 결과가 나타나는 시점을 중심으로 잘라낸 영상이다. 검증된 결과 timestamp가 포함된 핵심 장면을 선택한 뒤 같은 장면의 인접 구간을 합쳐 최소 3초 길이로 만들며, SemComp-Data의 평균 길이는 약 4.03초이다.

참조 의미를 보존하는 결과 중심 영상 생성 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

비디오 생성 모델의 시각 추론 능력 평가

ImageBench의 텍스트-이미지 평가 기준

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

상황별 하위 에이전트로 세계 모델을 평가하는 HarnessEval-W

실제 위기 영상으로 검증한 AI 생성 비디오 탐지

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

비디오 생성 모델의 시각 추론 능력 평가

ImageBench의 텍스트-이미지 평가 기준

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

상황별 하위 에이전트로 세계 모델을 평가하는 HarnessEval-W

실제 위기 영상으로 검증한 AI 생성 비디오 탐지