비디오 생성 모델을 범용 시각 학습기로 재정의한 GenCeption

대규모 텍스트-투-비디오 생성 모델은 시공간적 세계의 법칙과 비전-언어 정렬을 동시에 학습하는 전이 소스로 기능한다. 이 특성을 활용하면 여러 작업별로 설계된 특화 아키텍처 대신 하나의 통일된 백본으로 다양한 시각 과제를 처리할 수 있다. 그 결과 적은 파인튜닝 데이터로도 종전의 전문가 모델과 동등하거나 더 나은 성능을 달성할 수 있어 범용 비전 파운데이션 모델로 가는 실용적 경로를 제시한다.

문제의 출발점은 기존 비전 연구가 작업별 특화 아키텍처에 지나치게 의존해 범용화가 더디다는 점이다. 이미지 중심 파운데이션 모델이나 작업별 최적화는 시간적 동역학과 물리적 제약을 포착하지 못하는 경우가 많아 비디오나 연속적 장면 이해에는 한계가 있었다. 따라서 공간과 시간, 언어 정렬을 동시에 강제하는 사전학습 목표가 범용 비전 표현을 얻기 위한 열쇠로 제시되었다. 비디오 생성 모델은 텍스트 조건과 시간 축을 함께 학습하면서 4D 세계의 원인-결과, 객체 지속성, 움직임 기반 기하학을 내재화한다. 텍스트 조건은 시각 표현에 의미적 정렬을 부여해 지시문에 따른 출력 제어를 가능하게 한다. 이러한 두 축의 결합은 다양한 하위 과제에서의 전이 효율을 높이고, 언어-기반 지시로 작업을 전환하는 데 유리하다. 기술적 핵심은 사전학습된 DiT 같은 latent diffusion 백본을 그대로 이용하되 반복적 샘플링을 배제하고 단일 전방 전달로 전환하는 것이다. 구체적으로 Rectified Flow 목표에서 학습된 velocity 예측을 활용하고, 입력을 노이즈가 없는 잠재로 대체한 뒤 출력의 부호를 반전하여 목표 잠재에 정렬된 특징을 얻는다. 이 과정은 사전학습 도메인과의 정합을 최대화하면서 추론 효율을 크게 개선한다. 또한 다양한 출력 형식을 하나의 표현 공간으로 통합하는 디자인 철학이 핵심 직관이다. 밀집 예측은 3채널 RGB로 통일해 디코더와 손쉽게 결합하고, 고차원 구조(카메라 포즈)는 raymap으로 픽셀 공간에 임베딩한다. 희소 좌표형 과제는 프레임별 학습 가능한 토큰을 추가해 MLP로 디코딩함으로써 기존 백본의 attention 메커니즘을 크게 변경하지 않고도 좌표 회귀를 구현한다.

전체 접근은 텍스트-투-비디오 디퓨전 백본을 보존한 채, 후속 단계에서 이를 인식용 피드포워드 모델로 전환하는 것이다. 핵심 설계 원칙은 사전학습 환경과의 최대한의 호환을 유지하면서 최소한의 구조 변경으로 다양한 출력 모달리티를 처리하는 것이다. 이를 위해 VAE 인코더·디코더, 텍스트 인코더, transformer 기반 DiT를 그대로 두고 입력 형식과 출력 포맷을 재정의했다. 피드포워드 전환의 구체적 절차는 다음과 같다. 먼저 DiT에 노이즈가 없는 잠재 x0를 입력하고 타임스텝을 t=0으로 고정한다. DiT가 Rectified Flow로 velocity v=ϵ−x0를 예측하도록 학습되어 있으므로 출력의 부호를 반전하여 −v=x0−ϵ를 얻고 이를 디코더/손실에 전달한다. 이 설계는 사전학습 목표와 일관된 형태로 최종층 특징을 직접 활용하게 하여 수렴을 가속하고 성능을 향상시킨다. 밀집 과제는 모든 출력을 3채널 RGB 범위 [0,1]로 재표현했다. 단일 채널 값(예: 깊이나 마스크)은 3채널로 복제했고, 3차원 벡터(예: 법선)는 각 채널을 독립적으로 사용했다. 고차원 카메라 포즈는 6채널을 3채널 제약에 맞추기 위해 프레임의 중앙·외곽으로 공간 분할하는 raymap 레이아웃을 적용했다. 희소 과제는 프레임당 T개의 학습 가능한 토큰을 잠재에 추가하는 방식으로 구현했다. 추가된 토큰은 DiT의 native 3D RoPE(Positional Encoding)를 적용받으며, 토큰의 공간적 위치는 학습 가능한 파라미터로 둔다. 각 토큰은 MLP로 디코딩되어 프레임별 K차원 좌표를 출력하며, 시간적 인덱스는 위치 보간으로 잠재 길이 T'에 맞춰 조정된다. 합성 데이터 생성은 대규모 학습을 가능하게 하는 핵심 파이프라인이다. RenderPeople 자산 800개와 CMU mocap의 200개 동작을 사용해 7,500개의 비디오를 렌더링하고 각 비디오에서 깊이·법선·세그멘트 마스크·키포인트·카메라 포즈를 별도 렌더 패스로 획득했다. 입력과 타깃을 잠재 공간으로 미리 계산해 캐싱함으로써 I/O 병목과 학습 비용을 줄였다. 학습 손실은 단일 L2 손실을 전역 목표로 채택했다. 개별 과제별 복잡한 가중치 조정 대신 데이터 표현 설계를 통해 과제 특유의 제약(예: 깊이의 스케일 모호성)을 해소했다. 깊이 정규화는 장면 중앙값으로 나누는 방식을 적용한 뒤 비선형 맵 d' = clip(α log(d+1),0,1)를 사용해 [0,1] 범위로 정렬한다. 수식 해석을 위해 입력-처리-출력 관점으로 정리하면 다음과 같다: 입력은 원시 깊이 d이며, 변수 α는 근거리와 원거리 가중치를 조절하는 스칼라이다. 처리 단계는 d에 1을 더해 로그를 취하고 α를 곱한 뒤 clip으로 범위를 잘라내는 연산이며, 예로 d=1.0, α=0.5이면 d'≈clip(0.5·log(2),0,1)≈0.347으로 근거리 구조가 강조된 값이 된다. 출력 d'는 모델의 RGB 출력 범위와 정렬되어 단일 L2 손실로 통합된다.

광범위한 벤치마크 평가에서 GenCeption은 깊이, 법선, 카메라 포즈, 소프트 전경 세분화, 표현 지시 기반 분할, 3D 인간 키포인트 등 다양한 과제에서 전문화된 최첨단 모델과 비슷하거나 그 이상의 성능을 보였다. 예를 들어 WAN 2.1 기반의 14B 일반리스트 모델은 여러 데이터셋에서 경쟁력 있는 AbsRel 및 각종 지표를 달성하여 동일한 파인튜닝 데이터 조건에서 V-JEPA·VideoMAE V2보다 우수한 결과를 기록했다. 이 비교는 생성 기반 사전학습 목표가 시공간 우선지식을 추출하는 데 유리함을 시사한다. 사전학습 방법 간 비교에서 WAN 2.1 기반 확산 사전학습은 V-JEPA와 VideoMAE V2보다 동일한 파인튜닝 데이터에서 우수한 성능을 보였다. Table 2의 결과는 모델 크기와 학습 데이터 양이 증가함에 따라 성능이 개선되는 예비적인 스케일링 특성이 있음을 나타냈으며, 특정 설정에서는 선행 모델들과 비교해 7배에서 500배가 적은 파인튜닝 데이터로 유사한 성능을 달성했다. 이 데이터 효율성 수치는 합성 중심 전이 학습 전략과 생성적 우선지식의 결합이 가지는 강점을 뒷받침한다. 추론 비용 측면에서 피드포워드 전환은 반복 샘플링을 제거하여 실용성을 높였다. 보고된 수치로는 1.3B 모델이 단일 v6e TPU에서 81 프레임(480×832)을 처리할 때 전체 파이프라인 기준 5.92초(13.6 FPS) 및 15.3GB VRAM을 요구했고, 14B 모델은 10.03초(8.0 FPS)와 42.8GB VRAM을 소모했다. 텍스트 인코더와 VAE는 각각 약 10GB·0.25GB로 측정되어 필요에 따라 시스템 메모리로 오프로딩이 가능하다.

전체 아키텍처는 VAE 인코더·디코더, 텍스트 인코더, 그리고 DiT(디퓨전 트랜스포머) 기반의 latent diffusion 모듈로 구성된다. 입력 RGB 비디오는 VAE 인코더로 잠재로 변환된 뒤 DiT에 프롬프트 임베딩과 함께 전달되며, 디코더 출력은 다시 픽셀 공간으로 복원되어 손실을 계산한다. 본 논문은 가능한 한 사전학습 구성요소를 보존하고 최종 층 특징을 직접 취득하는 설계를 선택했다. 핵심 메커니즘은 Rectified Flow 목표의 velocity 예측을 이용한 출력 정렬과 t=0 조건 고정이다. DiT가 v=ϵ−x0를 예측하도록 사전학습되었을 때, 입력을 노이즈가 없는 x0로 넣고 DiT의 출력을 −v로 변환하면 x0−ϵ 형태가 되어 목표 잠재와 정렬된다. 이 변환은 사전학습 도메인의 표현과 파인튜닝 시그널을 일관되게 연결하여 수렴을 빠르게 한다. 희소 좌표 예측을 위한 구현 세부는 T개의 프레임별 학습 가능한 토큰을 추가하는 방식이다. 이 토큰들은 DiT의 3D RoPE를 적용받으며 공간적 위치는 학습 파라미터로 둔다. 토큰 디코딩은 작은 MLP로 수행되어 K차원 좌표를 예측하며, 시간적 위치는 잠재 길이 T'에 맞춰 보간하여 제공된다. 학습 및 구현 파라미터는 다음과 같다. 본문 구현은 WAN 2.1 기반 오픈소스 텍스트-투-비디오 모델을 바탕으로 하며, 입력 해상도는 480×832, 프레임 수는 81로 설정되었다. 배치 크기 64로 256 v6e TPU에서 학습을 진행했고 Adam 옵티마이저를 사용해 학습률 5e-5로 15,000 스텝 학습, 250 스텝 선형 워밍업을 적용했다. 안정성 확보를 위해 그래디언트 클리핑과 그래디언트 드롭(임계값을 초과하는 배치를 버리는 방식)을 도입했다. 데이터 측면에서 주된 학습 데이터는 합성 7,500 비디오이며 추가로 TartanAir, Virtual KITTI, MVS Synth 등의 공개 합성 세트를 섞었다. 표현 지시 기반 분할 등 일부 과제는 MeViS·Ref-COCO·YouTube-VOS 같은 실세계 데이터로 보강했다. 입력과 타깃을 잠재로 미리 변환해 오프라인 캐싱을 수행함으로써 학습 효율을 높였다.

논문은 통일된 joint training이 일부 과제에서는 성능 저하를 초래할 수 있음을 명확히 보고했다. 특히 3D 인간 키포인트 추정에서의 성능 저하는 학습 가능한 추가 토큰이 사전학습된 DiT의 attention 메커니즘을 교란하기 때문으로 추정되었다. 따라서 본 접근은 최소한의 아키텍처 변경을 유지하거나 사전학습 자체를 다양한 출력 유형에 맞춰 재설계할 필요가 있음을 인정했다.