비디오 생성 모델을 범용 시각 학습기로 재정의한 GenCeption

왜 중요한가

대규모 텍스트-투-비디오 생성 모델은 시공간적 세계의 법칙과 비전-언어 정렬을 동시에 학습하는 전이 소스로 기능한다. 이 특성을 활용하면 여러 작업별로 설계된 특화 아키텍처 대신 하나의 통일된 백본으로 다양한 시각 과제를 처리할 수 있다. 그 결과 적은 파인튜닝 데이터로도 종전의 전문가 모델과 동등하거나 더 나은 성능을 달성할 수 있어 범용 비전 파운데이션 모델로 가는 실용적 경로를 제시한다.

핵심 기여

비디오 생성 사전학습을 범용 표현 학습기로 규정

텍스트 조건의 비디오 생성 목표는 시공간적 인과와 3D 기하학, 물리적 상호작용을 내재화하는 강력한 우선지식을 제공한다. 본문은 이러한 생성 백본이 비전-언어 정렬을 자연스럽게 학습한다고 보고, 동일한 백본이 깊이·법선·세그멘테이션 등 여러 과제를 지원할 수 있음을 보였다. 비교 실험에서 WAN 2.1 기반 사전학습은 V-JEPA와 VideoMAE V2보다 동일 파인튜닝 데이터에서 우수한 성능을 보였다.

반복적 샘플링을 제거한 피드포워드 전환 설계

전형적 디퓨전 샘플링은 여러 단계의 역노이즈를 필요로 하지만 실시간 인식에는 부적합하다. 논문은 DiT를 t=0 조건으로 입력을 깨끗한 잠재(latent)로 대체하고, Rectified Flow에서 예측한 velocity 출력을 부호 반전하여 단일 전방 전달로 정밀한 예측을 도출하는 방식을 사용했다. 이 방식은 수렴 가속과 추론 효율성 향상을 동시에 달성하며 반복 샘플링이 요구하는 비용을 제거했다.

모든 밀집 과제를 3채널 RGB로 통합하고 희소 과제는 토큰으로 확장

밀집 출력(깊이, 법선, 소프트 마스크 등)은 공통된 3채널 RGB 표현 범위 [0,1]로 재표현하여 단일 디코더로 처리했다. 고차원 모달리티(예: 카메라 포즈)는 'Rothko' 스타일의 raymap으로 공간 분할해 RGB 제약에 맞추었다. 희소 좌표 예측은 프레임별 학습 가능한 토큰을 추가하고 MLP로 디코딩하는 방식으로 처리하여 통일된 아키텍처를 유지했다.

대규모 합성 데이터 파이프라인과 뛰어난 데이터 효율성 증명

합성 RenderPeople 자산과 CMU mocap을 포함한 파이프라인으로 7,500개 비디오를 생성해 주된 학습 자원으로 활용했다. 합성 데이터와 소수의 공개 합성·실세계 데이터 혼합으로 학습을 진행했으며 실험에서 일부 전문가 모델과 동등한 성능을 얻기 위해 7배에서 500배 적은 파인튜닝 데이터만 필요하다는 결과가 관찰됐다. 이로써 합성 중심 데이터 전략이 확장성 높은 다중 과제 학습에 실용적임이 확인됐다.

시뮬레이션에서 실세계로의 제로샷 일반화와 범주 외 확장성

인간 중심 합성 데이터로만 학습한 모델이 실제 영상의 여러 물체와 보행자 외의 동물·로봇으로 확장되는 행동을 보였다. 단일 객체로 학습된 경우에도 다중 인스턴스가 등장하는 실제 영상에 제로샷으로 대응할 수 있었다. 이러한 emergent behavior는 대규모 텍스트-비디오 사전학습이 일반적 세계 모델을 내재화한다는 증거로 해석된다.

핵심 아이디어 이해하기

문제의 출발점은 기존 비전 연구가 작업별 특화 아키텍처에 지나치게 의존해 범용화가 더디다는 점이다. 이미지 중심 파운데이션 모델이나 작업별 최적화는 시간적 동역학과 물리적 제약을 포착하지 못하는 경우가 많아 비디오나 연속적 장면 이해에는 한계가 있었다. 따라서 공간과 시간, 언어 정렬을 동시에 강제하는 사전학습 목표가 범용 비전 표현을 얻기 위한 열쇠로 제시되었다. 비디오 생성 모델은 텍스트 조건과 시간 축을 함께 학습하면서 4D 세계의 원인-결과, 객체 지속성, 움직임 기반 기하학을 내재화한다. 텍스트 조건은 시각 표현에 의미적 정렬을 부여해 지시문에 따른 출력 제어를 가능하게 한다. 이러한 두 축의 결합은 다양한 하위 과제에서의 전이 효율을 높이고, 언어-기반 지시로 작업을 전환하는 데 유리하다. 기술적 핵심은 사전학습된 DiT 같은 latent diffusion 백본을 그대로 이용하되 반복적 샘플링을 배제하고 단일 전방 전달로 전환하는 것이다. 구체적으로 Rectified Flow 목표에서 학습된 velocity 예측을 활용하고, 입력을 노이즈가 없는 잠재로 대체한 뒤 출력의 부호를 반전하여 목표 잠재에 정렬된 특징을 얻는다. 이 과정은 사전학습 도메인과의 정합을 최대화하면서 추론 효율을 크게 개선한다. 또한 다양한 출력 형식을 하나의 표현 공간으로 통합하는 디자인 철학이 핵심 직관이다. 밀집 예측은 3채널 RGB로 통일해 디코더와 손쉽게 결합하고, 고차원 구조(카메라 포즈)는 raymap으로 픽셀 공간에 임베딩한다. 희소 좌표형 과제는 프레임별 학습 가능한 토큰을 추가해 MLP로 디코딩함으로써 기존 백본의 attention 메커니즘을 크게 변경하지 않고도 좌표 회귀를 구현한다.

방법론

전체 접근은 텍스트-투-비디오 디퓨전 백본을 보존한 채, 후속 단계에서 이를 인식용 피드포워드 모델로 전환하는 것이다. 핵심 설계 원칙은 사전학습 환경과의 최대한의 호환을 유지하면서 최소한의 구조 변경으로 다양한 출력 모달리티를 처리하는 것이다. 이를 위해 VAE 인코더·디코더, 텍스트 인코더, transformer 기반 DiT를 그대로 두고 입력 형식과 출력 포맷을 재정의했다. 피드포워드 전환의 구체적 절차는 다음과 같다. 먼저 DiT에 노이즈가 없는 잠재 x0를 입력하고 타임스텝을 t=0으로 고정한다. DiT가 Rectified Flow로 velocity v=ϵ−x0를 예측하도록 학습되어 있으므로 출력의 부호를 반전하여 −v=x0−ϵ를 얻고 이를 디코더/손실에 전달한다. 이 설계는 사전학습 목표와 일관된 형태로 최종층 특징을 직접 활용하게 하여 수렴을 가속하고 성능을 향상시킨다. 밀집 과제는 모든 출력을 3채널 RGB 범위 [0,1]로 재표현했다. 단일 채널 값(예: 깊이나 마스크)은 3채널로 복제했고, 3차원 벡터(예: 법선)는 각 채널을 독립적으로 사용했다. 고차원 카메라 포즈는 6채널을 3채널 제약에 맞추기 위해 프레임의 중앙·외곽으로 공간 분할하는 raymap 레이아웃을 적용했다. 희소 과제는 프레임당 T개의 학습 가능한 토큰을 잠재에 추가하는 방식으로 구현했다. 추가된 토큰은 DiT의 native 3D RoPE(Positional Encoding)를 적용받으며, 토큰의 공간적 위치는 학습 가능한 파라미터로 둔다. 각 토큰은 MLP로 디코딩되어 프레임별 K차원 좌표를 출력하며, 시간적 인덱스는 위치 보간으로 잠재 길이 T'에 맞춰 조정된다. 합성 데이터 생성은 대규모 학습을 가능하게 하는 핵심 파이프라인이다. RenderPeople 자산 800개와 CMU mocap의 200개 동작을 사용해 7,500개의 비디오를 렌더링하고 각 비디오에서 깊이·법선·세그멘트 마스크·키포인트·카메라 포즈를 별도 렌더 패스로 획득했다. 입력과 타깃을 잠재 공간으로 미리 계산해 캐싱함으로써 I/O 병목과 학습 비용을 줄였다. 학습 손실은 단일 L2 손실을 전역 목표로 채택했다. 개별 과제별 복잡한 가중치 조정 대신 데이터 표현 설계를 통해 과제 특유의 제약(예: 깊이의 스케일 모호성)을 해소했다. 깊이 정규화는 장면 중앙값으로 나누는 방식을 적용한 뒤 비선형 맵 d' = clip(α log(d+1),0,1)를 사용해 [0,1] 범위로 정렬한다. 수식 해석을 위해 입력-처리-출력 관점으로 정리하면 다음과 같다: 입력은 원시 깊이 d이며, 변수 α는 근거리와 원거리 가중치를 조절하는 스칼라이다. 처리 단계는 d에 1을 더해 로그를 취하고 α를 곱한 뒤 clip으로 범위를 잘라내는 연산이며, 예로 d=1.0, α=0.5이면 d'≈clip(0.5·log(2),0,1)≈0.347으로 근거리 구조가 강조된 값이 된다. 출력 d'는 모델의 RGB 출력 범위와 정렬되어 단일 L2 손실로 통합된다.

주요 결과

광범위한 벤치마크 평가에서 GenCeption은 깊이, 법선, 카메라 포즈, 소프트 전경 세분화, 표현 지시 기반 분할, 3D 인간 키포인트 등 다양한 과제에서 전문화된 최첨단 모델과 비슷하거나 그 이상의 성능을 보였다. 예를 들어 WAN 2.1 기반의 14B 일반리스트 모델은 여러 데이터셋에서 경쟁력 있는 AbsRel 및 각종 지표를 달성하여 동일한 파인튜닝 데이터 조건에서 V-JEPA·VideoMAE V2보다 우수한 결과를 기록했다. 이 비교는 생성 기반 사전학습 목표가 시공간 우선지식을 추출하는 데 유리함을 시사한다. 사전학습 방법 간 비교에서 WAN 2.1 기반 확산 사전학습은 V-JEPA와 VideoMAE V2보다 동일한 파인튜닝 데이터에서 우수한 성능을 보였다. Table 2의 결과는 모델 크기와 학습 데이터 양이 증가함에 따라 성능이 개선되는 예비적인 스케일링 특성이 있음을 나타냈으며, 특정 설정에서는 선행 모델들과 비교해 7배에서 500배가 적은 파인튜닝 데이터로 유사한 성능을 달성했다. 이 데이터 효율성 수치는 합성 중심 전이 학습 전략과 생성적 우선지식의 결합이 가지는 강점을 뒷받침한다. 추론 비용 측면에서 피드포워드 전환은 반복 샘플링을 제거하여 실용성을 높였다. 보고된 수치로는 1.3B 모델이 단일 v6e TPU에서 81 프레임(480×832)을 처리할 때 전체 파이프라인 기준 5.92초(13.6 FPS) 및 15.3GB VRAM을 요구했고, 14B 모델은 10.03초(8.0 FPS)와 42.8GB VRAM을 소모했다. 텍스트 인코더와 VAE는 각각 약 10GB·0.25GB로 측정되어 필요에 따라 시스템 메모리로 오프로딩이 가능하다.

기술 상세

전체 아키텍처는 VAE 인코더·디코더, 텍스트 인코더, 그리고 DiT(디퓨전 트랜스포머) 기반의 latent diffusion 모듈로 구성된다. 입력 RGB 비디오는 VAE 인코더로 잠재로 변환된 뒤 DiT에 프롬프트 임베딩과 함께 전달되며, 디코더 출력은 다시 픽셀 공간으로 복원되어 손실을 계산한다. 본 논문은 가능한 한 사전학습 구성요소를 보존하고 최종 층 특징을 직접 취득하는 설계를 선택했다. 핵심 메커니즘은 Rectified Flow 목표의 velocity 예측을 이용한 출력 정렬과 t=0 조건 고정이다. DiT가 v=ϵ−x0를 예측하도록 사전학습되었을 때, 입력을 노이즈가 없는 x0로 넣고 DiT의 출력을 −v로 변환하면 x0−ϵ 형태가 되어 목표 잠재와 정렬된다. 이 변환은 사전학습 도메인의 표현과 파인튜닝 시그널을 일관되게 연결하여 수렴을 빠르게 한다. 희소 좌표 예측을 위한 구현 세부는 T개의 프레임별 학습 가능한 토큰을 추가하는 방식이다. 이 토큰들은 DiT의 3D RoPE를 적용받으며 공간적 위치는 학습 파라미터로 둔다. 토큰 디코딩은 작은 MLP로 수행되어 K차원 좌표를 예측하며, 시간적 위치는 잠재 길이 T'에 맞춰 보간하여 제공된다. 학습 및 구현 파라미터는 다음과 같다. 본문 구현은 WAN 2.1 기반 오픈소스 텍스트-투-비디오 모델을 바탕으로 하며, 입력 해상도는 480×832, 프레임 수는 81로 설정되었다. 배치 크기 64로 256 v6e TPU에서 학습을 진행했고 Adam 옵티마이저를 사용해 학습률 5e-5로 15,000 스텝 학습, 250 스텝 선형 워밍업을 적용했다. 안정성 확보를 위해 그래디언트 클리핑과 그래디언트 드롭(임계값을 초과하는 배치를 버리는 방식)을 도입했다. 데이터 측면에서 주된 학습 데이터는 합성 7,500 비디오이며 추가로 TartanAir, Virtual KITTI, MVS Synth 등의 공개 합성 세트를 섞었다. 표현 지시 기반 분할 등 일부 과제는 MeViS·Ref-COCO·YouTube-VOS 같은 실세계 데이터로 보강했다. 입력과 타깃을 잠재로 미리 변환해 오프라인 캐싱을 수행함으로써 학습 효율을 높였다.

한계점

논문은 통일된 joint training이 일부 과제에서는 성능 저하를 초래할 수 있음을 명확히 보고했다. 특히 3D 인간 키포인트 추정에서의 성능 저하는 학습 가능한 추가 토큰이 사전학습된 DiT의 attention 메커니즘을 교란하기 때문으로 추정되었다. 따라서 본 접근은 최소한의 아키텍처 변경을 유지하거나 사전학습 자체를 다양한 출력 유형에 맞춰 재설계할 필요가 있음을 인정했다.

실무 활용

GenCeption의 설계는 단일 백본으로 여러 비전 과제를 처리하는 멀티태스크 비전 파이프라인에 직접 적용 가능하다. 특히 합성 데이터 중심 학습과 피드포워드 추론으로 데이터·비용 제약이 큰 실무 환경에서도 사용성이 높다. 다만 전문적 튜닝이 필요한 일부 희소 좌표 작업은 추가 데이터나 아키텍처 조정이 요구된다.

로봇 비전에서 단일 모델로 깊이·법선·관절 추정·세그멘테이션을 동시에 제공하는 실시간 인식 파이프라인 통합
자율주행 및 고정밀 지도 구축에서 적은 라벨 데이터로 깊이와 카메라 포즈를 보강하는 파인튜닝 기반 보조 모델
AR/VR 애플리케이션에서 실시간 장면 이해(깊이·법선·전경 분리)를 통해 렌더링 및 상호작용 품질 개선
비디오 편집·크리에이티브 툴에서 텍스트 지시로 객체 분할·참조 기반 편집을 지원하는 멀티태스크 인퍼런스

코드 공개 여부: 미확인

키워드

text-to-video diffusion(텍스트-투-비디오 디퓨전)feed-forward reformulation(피드포워드 재구성)raymap(레이맵)sim-to-real(시뮬레이션-실세계 일반화)learnable tokens(학습 가능한 토큰)

용어 해설

텍스트-투-비디오 디퓨전(Text-to-Video Diffusion): — 텍스트 조건을 받아 노이즈에서 점진적으로 비디오를 생성하는 확률적 생성 모델 계열이다. 여러 단계의 역노이즈 과정을 통해 시간적 일관성과 텍스트-비전 정렬을 학습하며, 본문에서는 이 사전학습된 백본을 표현 학습기로 재활용한다.
정류화 흐름(Rectified Flow)(Rectified Flow): — 디퓨전 계열에서 노이즈와 원본 간의 속도(velocity)를 예측하는 변형 학습목표이다. 본 논문에서는 velocity 예측을 이용해 t=0 조건으로 출력 부호를 반전시켜 깨끗한 잠재공간 특징을 추출한다.
잠재 공간 디퓨전(Latent Diffusion): — 이미지·비디오를 저차원 잠재 공간으로 인코딩한 뒤 잠재 표현에서 디퓨전 모델을 학습하는 방식이다. 인코더·디코더(VAE)와 결합해 계산 비용을 줄이며 고해상도 출력을 효율적으로 처리하는 핵심 구조이다.
레이맵(Raymap): — 카메라 포즈와 관련된 다채널 정보를 2D 픽셀 공간에 배치해 표현하는 방식이다. 본문에서는 6채널 카메라 정보를 3채널 RGB 제약에 맞추어 중앙/주변 영역으로 공간 분할하여 표현하였다.
학습 가능한 토큰(Learnable Tokens): — 영상 잠재토큰에 추가되는 프레임별 학습 가능한 쿼리 토큰으로, 이를 통해 희소한 좌표형 출력(2D/3D 관절 좌표 등)을 예측한다. 본문에서는 3D RoPE와 위치 보간을 사용해 시공간 정보를 부여했다.

비디오 생성 모델을 범용 시각 학습기로 재정의한 GenCeption

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LTX-Video: 시공간 1:192 압축으로 실시간 비디오 생성을 구현한 Latent Diffusion 모델

합성 데이터만으로 실제 객체를 탐지한 실험

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LTX-Video: 시공간 1:192 압축으로 실시간 비디오 생성을 구현한 Latent Diffusion 모델

합성 데이터만으로 실제 객체를 탐지한 실험