Flex-Forcing: 자기회귀와 양방향 비디오 확산 모델의 통합 프레임워크

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

영상 생성 모델은 전역 문맥을 활용하는 양방향 확산과 실시간 스트리밍이 가능한 자기회귀 방식 사이에서 품질과 속도의 상충관계를 가진다. Flex-Forcing는 동일한 모델이 양쪽 추론 모드를 선택적으로 수행하도록 설계하여 배포 환경에 따라 품질과 레이턴시를 실시간으로 조절할 수 있는 기반을 제공한다. 이러한 제어 가능성은 장기 비디오 합성, 부분 편집, 제한된 디바이스 예산에 맞춘 적응적 추론 같은 실제 응용에서 직접적인 이점을 보였다.

왜 중요한가

핵심 기여

단일 모델로 양방향·자기회귀 추론을 통합한 프레임워크

Flex-Forcing는 학습과 추론에서 같은 청킹 구성(formulation)을 사용해 한 개의 모델이 양방향 모드와 자기회귀 모드 사이를 전환할 수 있게 했다. 이 접근은 서로 상충하던 두 패러다임을 상호 배타적 대신 연속적 제어 차원으로 재정의했으며, 단일 체크포인트로 다양한 배포 시나리오에 대응할 근거를 제공했다. 실험에서 동일한 모델이 서로 다른 청킹 설정에서 일관되게 좋은 품질·속도 트레이드오프를 달성했다.

시간축과 디노이징 축을 모두 고려한 유연한 청킹 설계

청킹을 프레임 인덱스와 디노이징 타임스텝 두 축에 따라 정의해 초기 단계에는 큰 청크로 전역 구조를, 후반 단계에는 작은 청크로 지역 세부를 처리하도록 했다. 이 피라미드식 분할은 노이즈 수준 변화에 맞춰 청크 크기를 점진적으로 세분화하며, 추론 시 버퍼링과 KV 캐시를 조합해因果 제약을 만족시키는 실행 순서를 보장했다. 브루트포스 탐색으로 얻은 경험적 결과는 앞쪽에 큰 청크를 두는 전방 로드형 분할이 성능 우위를 보였음을 뒷받침했다.

노이즈 레벨 불일치를 해소하는 K-Projection

K-Projection은 깨끗한(낮은 노이즈) 키 캐시를 현재 디노이징 타임스텝의 노이즈 분포로 선형 사영하는 경량 매핑 Π_{t←0}을 도입했다. 이 매핑은 서로 다른 노이즈 수준에서 생성된 키들의 신호대잡음비 차이를 정렬하여 표준 self-attention이 안정적으로 작동하도록 만들었다. K-Projection을 포함한 모델은 대형 청크로 접근할수록 발생하던 성능 하락을 완화하여 양방향에 가까운 감독 신호를 흡수할 수 있었다.

임의시점·임의순서 자기회귀 편집을 지원하는 실용성

Flex-Forcing는 전체 시퀀스를 생성한 뒤 특정 청크만 재편집할 수 있는 any-order, any-timestep autoregressive 편집을 가능하게 했다. 편집 시에는 고수준 계획 단계는 유지하고 저수준 정교화 단계에서만 변경을 가해 전역 일관성을 보존하도록 분리된 편집 절차를 이용했다. 해당 절차는 기존 자기회귀 편집에서 편집이 전파되어 전체 영상이 크게 변형되는 문제를 완화했다.

핵심 아이디어 이해하기

비디오 확산 모델은 전역 문맥을 활용하는 양방향 방식이 장기적 일관성과 시각적 충실도를 제공하는 반면 계산 비용이 크고, 자기회귀 방식은 KV 캐시를 재활용해 실시간 생성과 긴 시퀀스 처리가 가능하지만 전역 문맥 부재로 노출 편향이 누적되는 한계가 있다. Flex-Forcing의 출발점은 이 둘을 별개의 모델로 취급하는 대신 동일한 모델이 추론 시점에서 청킹 구성만 바꿔 양방향·자기회귀 행동을 모두 수행하게 하는 것이다. 이 접근은 '무엇을' 조건으로 삼느냐(과거·미래 키의 포함 여부)뿐 아니라 '어떻게'(청크 크기와 디노이징 시점에 따른 가변성)에 주목해 양극단을 잇는 연속적 조절 변수를 도입했다.

방법론

전체 접근 방식은 두 축(프레임 인덱스와 디노이징 타임스텝)에 걸친 경계 구성 a_t를 정의해 각 디노이징 스텝에서 청크 파티셔닝을 달리하는 것이다. 이 파티셔닝은 단계 t에서의 청크 집합 ℱ_{t,k}를 규정하고, 각 청크는 내부에서는 비인과적(양방향)으로, 청크 간에는 인과적(자기회귀)으로 처리되는 하이브리드 인자를 만든다. 학습에서는 청크 크기를 무작위로 샘플링해 모델이 인과적·비인과적 문맥을 모두 경험하게 하고, 비대칭 증류 및 ODE 초기화를 통해 인과적 능력을 강화하면서도 비인과적 표현을 유지했다.

주요 결과

5초 비디오 벤치마크에서 Flex-Forcing는 동일한 기반 모델(Wan2.1-T2V-1.3B)에 대해 여러 청킹 설정에서 Self-Forcing 계열보다 더 나은 품질·속도 트레이드오프를 보였다. 예컨대 Table 2의 대표 설정에서 [15-3-3] 구성은 FPS 25.8에 VBench 85.07을 기록했고, 속도 최적화 설정 [7-7-7]은 FPS가 29.4로 향상된 상태에서 경쟁력 있는 VBench를 유지했다. 또한 few-step 증류 모델들과의 비교(Table 3)에서 4단계 모델로 VBench 85.13을 달성하며 단순한 속도 개선이 아닌 품질 보존을 확인했다.

기술 상세

아키텍처는 Wan2.1-T2V-1.3B 기반의 비디오 디퓨전 트랜스포머를 사용하고, 대형 모델 교사(Wan2.1-T2V-14B)를 이용한 증류로 성능을 향상시켰다. 핵심은 각 디노이징 스텝 t에서 경계 구성 a_t를 통해 프레임들을 연속적 청크로 분할하고, 동일한 self-attention 블록이 인과적 컨텍스트와 비인과적 컨텍스트를 모두 처리하도록 설계한 점이다. 이를 위해 인과적 과거 토큰은 일반적으로 더 정제된(덜 노이즈된) 키·값을 가지며, 비인과적 미래 토큰은 더 노이즈한 표현을 가지므로 두 표현의 정렬이 필요했다.

한계점

논문은 학습–추론 불일치 문제가 완전히 해소되지 않았고 장기 영상에서 여전히 오차 누적이 발생할 수 있음을 명시했다. 또한 본 방법은 양방향 인코딩 프라이어(capability)에 의존하는 경향이 있어 해당 사전학습 능력이 약한 모델로의 전이는 성능 저하를 보일 가능성이 있다고 적었다. 마지막으로 생성 모델 일반의 한계와 같이 악용 위험이 존재하므로 배포 시 적절한 안전장치가 필요하다고 언급했다.

실무 활용

Flex-Forcing는 동일한 체크포인트로 운영 환경에 따른 품질·지연 트레이드오프를 런타임에 조정할 수 있어 제한된 연산 자원에서 고품질 비디오를 생성할 수 있는 실무적 이점을 제공한다. 또한 전체 시퀀스를 재생성하지 않고 일부 청크만 편집하는 워크플로우를 지원해 편집 효율성을 높인다. 이러한 특성은 스트리밍, 장기 시퀀스 합성, 대화형 콘텐츠 제작 파이프라인에서 직접 활용 가능하다.

제한된 GPU 자원에서 실시간 맞춤화된 품질·지연 설정으로 장기 비디오를 생성하는 스트리밍 제작 파이프라인
전체 영상을 다시 합성하지 않고 특정 시간 구간만 교체하거나 수정하는 임의순서 편집 워크플로우
엣지·모바일 디바이스 예산에 맞춰 청크 구성 검색으로 품질·속도 균형을 자동으로 조정하는 배포 전략

코드 공개 여부: 미확인

키워드

flex-forcing(Flex-Forcing)flexible chunking(유연한 청킹)k-projection(K-Projection)bidirectional diffusion(양방향 확산)autoregressive(자기회귀)exposure bias(노출 편향)

추가 이미지 분석

Photo
이 패널은 기존 자기회귀 기반 접근에서 발생하는 형태 왜곡, 모션 반복, 캔버스 오브젝트 탈락 등 문제들이 Flex-Forcing에서 더 잘 보정되는 실제 예시를 보여준다. 특히 편집 시 전파되는 변화가 Flex-Forcing에서는 국소적으로 억제되어 후속 청크와의 일관성이 유지되는 점이 눈에 띈다.
Self-Forcing와 Flex-Forcing의 실패 사례와 개선 사례를 나란히 비교한 질적 에러 분석 패널이다.

Chart
이 그림은 하이브리드 청킹이 시간-디노이징 축 모두에서 성능 우위를 제공하며, K-Projection을 포함할 때 특히 대형 청크 영역에서 성능 저하를 완화함을 수치적으로 드러낸다. 샘플 이미지는 이러한 정량적 향상이 실제 장면의 동적 표현과 모션 스무딩으로 이어짐을 보강한다.
하이브리드 청킹 구성([21], [14,7], [7,7,7] 등)에 따른 FPS와 VBench의 변화 및 K-Projection 유무에 따른 성능 차이를 보여주는 그래프와 샘플 이미지이다.

용어 해설

Flexible Chunking: — 시간축의 프레임 단위와 디노이징 단계 축을 동시에 고려해 생성 단위를 동적으로 분할하는 기법이다. 초기 높은 노이즈 단계에서는 큰 청크로 전역 구조를 모델링하고, 후반 정교화 단계에서는 더 작은 청크로 지역 디테일을 다루어 효율성과 일관성을 동시에 확보한다. 본문에서는 이 전략을 학습 시 무작위로 샘플링하고 추론 시에는 피라미드식 분할을 적용하여 자가회귀와 양방향 추론을 통합했다.
K-Projection: — 깨끗한(덜 노이즈된) 키 캐시를 현재 디노이징 타임스텝의 노이즈 수준으로 선형 사영하는 경량 매핑이다. 이 매핑은 서로 다른 노이즈 레벨에서 생성된 키들 간의 신호대잡음비 차이를 정렬하여 표준 self-attention이 안정적으로 동작하게 만든다. 논문에서는 Π_{t←0}로 표기된 시점 의존형 선형변환을 도입해 추론 시 KV 캐시를 동적으로 사영했다.
Noise-level Alignment: — 자가회귀(더 정제된 과거 토큰)와 비인과적 미래 토큰(더 노이즈한 표현) 사이에 존재하는 표현 강도 차이를 보정하는 과정이다. 정렬을 통해 서로 다른 노이즈 상태의 KV가 동일한 표현 공간으로 변환되어 attention 집계 시 왜곡을 줄인다. 본문에서는 K-Projection이 이 정렬을 수행하는 핵심 메커니즘으로 사용됐다.
Causal Distillation: — 양방향으로 학습된 모델을 인과적(좌→우) 생성 능력을 갖춘 모델로 변환하기 위해 사용하는 학습 절차로, ODE 초기화와 비대칭(distillation) 롤아웃 등을 포함한다. 이 절차는 디퓨전 모델의 비인과적 컨텍스트를 보존하면서도 좌측 인과 의존을 강화해 실시간 성능을 확보하는 데 기여한다. Flex-Forcing는 이 파이프라인을 확장해 청킹 확률 분포를 학습 과정에 주입했다.
Exposure Bias: — 학습 중에는 정답(실제 전 프레임)을 보면서 학습하나 추론 시에는 모델이 예측한 결과를 토대로 다음 스텝을 생성하게 되어 발생하는 누적 오차 편향이다. 이 편향은 자기회귀 생성에서 시간이 지남에 따라 외형·동작 변화로 누적되어 일관성 저하를 초래한다. Flex-Forcing는 전역 문맥을 부분적으로 보존하면서 자기회귀 장점을 살려 이 문제를 완화하려고 했다.