RealMaster: 렌더링된 장면을 실사 같은 비디오로 변환하는 기술

3D 엔진의 정밀한 제어력과 생성형 AI의 압도적인 실사 품질을 결합하여 기존 그래픽의 인위적인 느낌을 완벽히 제거합니다. 이는 고품질 영상 제작 비용을 획기적으로 낮출 뿐만 아니라, 자율주행이나 로봇 학습을 위한 가상 데이터를 실제와 똑같이 만들어 학습 효율을 극대화할 수 있는 기술적 토대를 제공합니다.

기존의 비디오 생성 모델은 Attention 메커니즘을 통해 프레임 간의 관계를 파악하지만, 3D 공간의 엄격한 기하학적 일관성을 유지하는 데 한계가 있다. 반면 3D 엔진은 물리적으로 정확한 구조를 제공하지만 질감이 인위적이다. RealMaster는 이 두 세계를 연결하기 위해 엣지 맵(Edge Map)을 구조적 앵커로 활용한다.

학습 과정에서는 입력된 렌더링 영상을 Embedding 공간의 참조 토큰으로 사용하고, 모델이 Gradient Descent를 통해 실사 타겟 영상과의 차이를 줄이도록 유도한다. 이때 IC-LoRA 구조를 채택하여 모델이 원본의 형태를 망가뜨리지 않고 표면의 질감과 조명만을 정교하게 덧입히는 법을 배우게 된다.

결과적으로 모델은 3D 엔진이 제공하는 확정적인 움직임 위에 생성형 AI의 풍부한 시각적 디테일을 결합하게 된다. 이는 단순한 스타일 변환을 넘어, 원본의 정체성을 유지하면서도 현실 세계의 복잡한 시각적 뉘앙스를 재현하는 새로운 렌더링 패러다임을 제시한다.

데이터 생성 단계에서는 Qwen-Image-Edit을 사용하여 첫 프레임과 마지막 프레임을 실사 도메인으로 변환한다. 이후 VACE 비디오 생성 모델을 활용하여, [참조 키프레임 + 원본 영상의 엣지 맵 → VACE 전파 연산 → 중간 프레임 생성] 과정을 거쳐 일관된 실사 비디오를 얻는다.

모델 학습 단계에서는 Wan2.2 T2V-A14B를 백본으로 사용하며 Rank 32의 IC-LoRA 어댑터를 적용한다. 렌더링된 입력 영상을 t=0 시점의 깨끗한 참조 토큰으로 인코딩하고 이를 노이즈가 섞인 타겟 토큰과 결합하여 모델에 입력한다.

학습 시 손실 함수는 [참조 토큰 + 노이즈 섞인 토큰 → 확산 모델 연산 → 예측된 노이즈 제거 결과]가 실제 실사 영상과 일치하도록 최적화된다. 이 과정은 단일 H200 GPU에서 약 1,200 스텝의 파인튜닝만으로 완료되며, 추론 시에는 엣지 맵이나 키프레임 없이 렌더링 영상만으로 즉시 변환이 가능하다.

GTA-V 가상 환경 데이터셋 평가 결과, RealMaster는 GPT-4o 기반의 실사도 평가(GPT-RS)에서 7.33점을 기록하여 Runway-Aleph(5.33)와 Editto(3.83) 등 기존 모델을 압도했다. 특히 원본 영상과의 일관성을 측정하는 ArcFace 점수에서 0.473을 기록해 캐릭터의 정체성을 가장 잘 보존하는 것으로 나타났다.

Ablation Study를 통해 엣지 맵 기반의 조건화가 단순 깊이 맵(Depth Map)보다 얼굴 표정과 미세한 경계선을 보존하는 데 훨씬 효과적임을 입증했다. 또한 CARLA 시뮬레이터 데이터에 적용했을 때도 추가 학습 없이 높은 일반화 성능을 보여주며 다양한 3D 엔진 환경에서의 활용 가능성을 확인했다.

RealMaster는 Wan2.2 T2V-A14B 모델을 기반으로 하며, In-Context 학습을 위해 입력 영상을 참조 토큰으로 활용하는 구조를 취한다. 학습 시에는 800x1200 해상도의 81프레임 클립을 사용하며, AdamW 옵티마이저와 1e-4의 학습률로 최적화한다. 특히 데이터셋 구축 시 ArcFace 유사도가 0.4 미만인 데이터를 필터링하여 정체성 일관성을 강제한 것이 성능 향상의 핵심이다. 기존 비디오 편집 모델들이 전역적인 스타일 변환과 국소적인 구조 보존 사이에서 겪던 트레이드오프 문제를 엣지 맵 가이드와 IC-LoRA 증류 기법으로 해결했다.

장면 내에 아주 멀리 있는 작은 물체가 많을 경우 실사화 효과가 보수적으로 나타나는 경향이 있으며, 카메라나 캐릭터의 움직임이 극도로 빠른 경우 비디오 확산 모델 특유의 시간적 잔상(Artifact)이 발생할 수 있다.