OpenCoF-17K과 Wan-CoF: Chain-of-Frame 기반 비디오 추론을 위한 데이터셋과 추론 토큰 설계

비전-언어 모델의 추론 능력은 단일 이미지나 텍스트로는 포착하기 어려운 시간적 인과와 다단계 결론을 요구한다. 이 논문은 비디오 생성 자체를 추론 매체로 삼는 Chain-of-Frame 접근을 실험적으로 강화하여, 시각적 상태의 시간적 전개를 모델 내부에서 직접 학습시키는 방향을 제시했다. 따라서 영상 생성기 기반의 추론 역량을 체계적으로 개선하고 외부 벤치마크로의 전이 가능성까지 입증한 점이 중요하다.

비디오 생성 모델은 프레임 간 시간적 전개를 자연스럽게 모델링하므로, 시각적 변화를 통해 단계적 추론을 전개하는 Chain-of-Frame이 가능한 출발점이 된다. 기존 CoT 접근은 정적 이미지나 텍스트 수열에 의존해 시간적 인과를 직접 표현하지 못했고, 그 결과 긴 시공간적 일관성이나 물리적 연속성이 약한 한계가 있었다. 따라서 비디오 생성기를 추론 매체로 삼으면 상태 전이 자체를 학습 신호로 활용할 수 있다. OpenCoF-17K는 다양한 시간적 감독을 제공하여 모델이 초기 상태에서 중간 계획을 거쳐 최종 상태로 이어지는 규칙과 물리 법칙을 학습하도록 한다. 데이터 파이프라인은 규칙 기반 퍼즐, 기하학적 보조선, 절차적 물리 시뮬레이션, 외부 고품질 시연의 네 가지를 혼합함으로써 알고리즘적·공간적·물리적 추론 신호를 함께 제공한다. 이로 인해 단일 도메인 편향을 줄이고 외부 벤치마크로의 전이 가능성을 확보한다. Visual Reasoning Tokens는 시각 잠재 내부에 직접 추론 상태를 유지할 수 있는 공간을 만들고, Textual Reasoning Tokens는 텍스트 조건에 일관된 추론 우선권을 추가함으로써 서로 다른 수준의 추론 정보를 분리 저장한다. vt는 self-attention을 통해 시각 전체에서 정보를 집계하고 다시 분배하므로 경계 상태나 전역 계획을 내장하기에 적합하다. tt는 cross-attention을 통한 정적 키/값 컨텍스트로 동작해 프롬프트 독립적인 규약을 전 시간에 걸쳐 공급함으로써 구조적 규칙과 지시 정렬성에 유리하다.

데이터 측면에서 OpenCoF-17K는 11개 과제군, 총 17,312개의 조건-비디오 쌍으로 구성되며 모든 샘플은 480p·15fps·81프레임으로 표준화되었다. 데이터 수집은 인스턴스 기반 렌더링, 전문가 가이드 렌더링, 절차적 장면 합성, 외부 비디오 재활용의 네 파이프라인을 병행하여 다양한 감독 신호를 확보했다. 이 설계는 퍼즐·기하학·물리·로봇 조작 등 서로 다른 추론 유형을 포함해 모델이 광범위한 시간적 패턴을 학습하도록 의도되었다. 모델 측면에서는 Wan2.2-I2V-A14B를 기본 백본으로 사용하고 LoRA로 파인튜닝하여 Wan-CoF를 획득했다. 학습 설정은 데이터 중심 실험을 분리 측정하기 위해 다른 추론 전용 구조를 일단 도입하지 않은 데이터 전용 단계와, 이후 vt·tt를 각각 도입하는 탐색 단계로 나뉜다. vt는 DiT 시각 토큰 시퀀스 앞에 N_r개의 학습 가능 벡터를 prepend하여 z0 = [r^v_1, ..., r^v_Nr, x_1, ..., x_M] 형태로 입력하고, tt는 텍스트 시퀀스 앞에 N_t개의 토큰을 prepend하여 c0 = [r^t_1, ..., r^t_Nt, c_1, ..., c_L] 형태로 입력한다. 훈련은 LoRA 파라미터만 업데이트하는 방식으로 수행되어 원본 가중치는 유지되며, 평가 시에는 vt는 최종 출력 전에 폐기되고 tt는 텍스트 컨텍스트로 유지된다. 성능 평가는 네 개의 독립적 외부 벤치마크(MME-CoF, Gen-ViRe, VIPER, RULER-Bench)를 사용하여 데이터 전용 효과와 토큰 설계의 일반화 성능을 분리 측정했다. 추가로 120개 사례를 사용한 어텐션 집계로 토큰의 활용 시공간적 패턴을 추적했다.

데이터 전용 미세조정만으로 Wan-CoF는 모든 외부 벤치마크의 헤드라인 지표를 향상시켰다. 구체적으로 MME-CoF Overall은 1.00에서 1.30으로(+0.30), Gen-ViRe 평균은 0.304에서 0.391로(+0.087), VIPER POC는 3.3에서 7.5로(+4.2), RULER-Bench 전체 평균은 55.8에서 56.8로(+1.0) 상승했다. 향상 폭은 물리·시간적·알고리즘적 하위지표에서 더 뚜렷하여 시각적 품질 자체보다는 프레임 수준의 추론 개선이 주요 원인으로 나타났다. vt와 tt의 도입은 Wan-CoF 위에서 추가 개선을 낳았고 두 설계는 하위지표에서 서로 다른 강점을 보였다. Wan-CoF vt는 Gen-ViRe와 RULER-Bench에서 가장 높은 집계 점수를 기록했고 구체적으로 Planning·Abstract·Analogy 같은 전역 계획 관련 지표에서 우세했다. Wan-CoF tt는 MME-CoF와 VIPER에서 더 큰 개선을 보였고 Instruction Alignment나 구조적 규칙 준수와 연관된 지표에서 상대적 이득이 컸다. 어텐션 집계 결과는 토큰 사용의 시공간적 차이를 뒷받침한다. vt는 블록 깊이의 특정 구간과 디노이징 초기에 더 높은 self-attention 기여를 보였고 프레임의 처음과 끝에서 특히 활성화되는 경향이 있었다. tt는 초기-중간 블록에서 부드럽게 작동하며 cross-attention을 통해 전 시간에 걸친 프롬프트 수준 제약을 공급하는 역할이 관찰되었다.

전체 아키텍처는 DiT 기반의 비디오 생성 백본을 사용하며 입력은 시각 토큰 x ∈ ℝ^{T×H×W×d}와 텍스트 컨디셔닝 c ∈ ℝ^{L×d}로 구성된다. Visual Reasoning Tokens는 N_r개의 학습 가능 벡터 r^v ∈ ℝ^{N_r×d}을 시각 토큰 앞에 붙여 z_0 = [r^v_1, ..., r^v_{N_r}, x_1, ..., x_M]로 DiT 블록에 공급한다. 이때 M = T×H×W이며 self-attention은 각 시각 토큰이 모든 r^v를 참조하고 r^v도 전체 시각 시퀀스와 상호작용하게 하여 양방향 정보 흐름을 형성한다. Textual Reasoning Tokens는 N_t개의 토큰 r^t ∈ ℝ^{N_t×d}을 텍스트 시퀀스 앞에 prepend하여 c_0 = [r^t_1, ..., r^t_{N_t}, c_1, ..., c_L]로 cross-attention에 투입한다. 여기서 r^t는 key/value로만 작동하고 query에는 포함되지 않아 시각 시퀀스에 대해 일관된 텍스트 기반 우선순위를 제공한다. 이 차이는 vt가 시각적 상태를 갱신하는 양방향 채널로 작동하고 tt는 프롬프트 수준의 정적 채널로 작동한다는 설계 의도를 수학적으로 뒷받침한다. 훈련은 LoRA 파라미터만 업데이트하는 방식으로 수행되어 원본 가중치는 고정된 상태로 유지되며, LoRA의 저순위 행렬이 추론 토큰과 결합된 표현을 학습하여 파라미터 효율적인 미세조정을 가능하게 했다. 평가 시에는 vt는 최종 예측 전에 폐기되며 tt는 텍스트 컨텍스트로 유지된다는 동작 규약을 사용했다. 어텐션 측정은 120개 사례를 표본으로 각 DiT 블록과 디노이징 단계에서 visual→vt self-attention과 visual→tt cross-attention 평균을 계산하는 방식으로 수행되었다. 수치 예시로는 데이터 전용 미세조정 결과 MME-CoF Overall이 1.00에서 1.30으로 0.30 증가한 점이 있다. 이 수치는 동일 백본에 LoRA 미세조정만 적용했을 때 데이터 효과로 인한 성능 향상을 수치적으로 분리한 근거가 된다. 또한 Gen-ViRe에서 Wan-CoF vt는 평균 0.441을 기록해 vt의 전역적 계획 보조 효과가 수치화되었다.

논문에서 명시적으로 지적한 한계는 vt와 tt를 별도로 실험했으며 두 메커니즘의 결합 효과는 평가되지 않았다는 점이다. 이로 인해 상호작용 효과나 충돌 상황에서의 거동이 불명확하며, 두 토큰을 동시에 운영할 때의 학습 안정성·자원 비용·성능 균형은 미확인 상태로 남아 있다. 또한 OpenCoF-17K의 도메인 분포와 외부 벤치마크 사이에는 여전히 분포 차이가 존재하므로 완전한 일반화 보장은 추가 연구가 필요하다.