3DreamBooth: 고충실도 3D 대상 기반 비디오 생성 모델

기존의 비디오 생성 AI는 대상을 평면적인 이미지로만 인식하여 시점이 바뀔 때 형태가 찌그러지는 고질적인 문제가 있었다. 이 논문은 비디오 모델이 대상의 입체적인 3D 구조를 이해하도록 학습시켜, 어떤 각도에서도 정교한 질감과 형태가 유지되는 맞춤형 비디오 제작을 가능하게 한다.

기존 비디오 생성 모델은 대상을 학습할 때 시간적 움직임과 공간적 형태를 동시에 처리한다. 이 과정에서 모델이 특정 움직임 패턴에 과적합되거나 시점이 변할 때 대상의 뒷모습을 제대로 상상하지 못해 형태가 붕괴되는 한계가 있다. 3DreamBooth는 비디오 모델의 입력을 단일 프레임(T=1)으로 제한하여 시간적 주의 집중(Temporal Attention) 경로를 자연스럽게 우회시킨다. 이를 통해 모델이 움직임에 간섭받지 않고 오직 대상의 3D 기하학적 구조와 시점별 외형 변화만을 LoRA 가중치에 집중적으로 기록하게 만든다. 여기에 3Dapter라는 시각적 보조 장치를 추가하여 텍스트 프롬프트만으로는 설명하기 힘든 미세한 로고나 복잡한 질감을 여러 각도의 사진에서 직접 추출해 주입한다. 결과적으로 모델은 대상의 입체적인 설계도를 내부에 갖게 되어 어떤 배경이나 동작에서도 일관된 모습을 유지하게 된다.

3DreamBooth의 핵심은 비디오 Diffusion Transformer(DiT) 아키텍처의 특성을 활용한 1프레임 최적화이다. 입력 시퀀스 길이를 1로 설정하면 [1개 프레임 → 공간적 토큰 연산 → 출력] 과정을 거치며 시간적 레이어의 가중치 갱신이 억제되고, 모든 그래디언트 업데이트가 공간적 표현에만 집중된다. 3Dapter는 두 단계 파이프라인으로 구현된다. 먼저 대규모 데이터셋에서 단일 이미지 기반 비디오 생성 능력을 사전 학습한 뒤, 3DreamBooth와 함께 다중 시점 공동 최적화를 수행한다. 다중 시점 공동 주의 집중(Multi-view Joint Attention) 메커니즘을 통해 [대상 시점의 노이즈 텐서 + N개의 참조 이미지 토큰 + 텍스트 토큰]을 결합하여 연산한다. 이때 모델은 참조 이미지들 사이에서 현재 시점에 필요한 기하학적 단서를 동적으로 선택하는 Selective Router 역할을 수행한다. 또한 3D RoPE(Rotary Positional Encoding)를 적용하여 각 시점 토큰에 고유한 공간적 인덱스를 부여함으로써 특징 엉킴을 방지하고 명확한 시점 분리를 달성했다.

3D-CustomBench 평가 결과, 3D 기하학적 정확도를 나타내는 Chamfer Distance(CD)에서 0.0177을 기록하여 기존 SOTA 모델인 Phantom(0.0338) 대비 오차를 약 50% 수준으로 낮췄다. 특히 표면 복원 완성도(Completeness) 지표에서 0.0172를 기록하며 다중 시점 정보를 효과적으로 통합했음을 입증했다. GPT-4o를 활용한 인간 중심 평가에서도 형태, 색상, 세부 묘사 전 부문에서 최고점을 획득했다. 3DreamBooth 단독 사용 시보다 3Dapter를 병합했을 때 수렴 속도가 비약적으로 빨라졌으며, 미세한 텍스트나 로고 보존력이 크게 개선되었다. HunyuanVideo-1.5 모델을 기반으로 단 400회의 반복 학습(약 13분 소요)만으로도 고품질의 3D 일관성을 확보했으며, Wan 2.1 등 다른 DiT 아키텍처로의 확장성 실험에서도 일관된 성능 향상을 확인했다.

본 연구는 비디오 확산 트랜스포머(DiT) 내부에 잠재된 3D Prior를 명시적으로 인출하는 데 초점을 맞춘다. 3DreamBooth는 LoRA를 통해 텍스트 임베딩과 공간적 특징 사이의 바인딩을 강화하며, 시간적 모듈을 동결하지 않고도 1프레임 입력을 통해 자연스럽게 공간적 학습을 유도한다. 3Dapter는 비대칭 컨디셔닝 전략을 사용하여 참조 이미지의 배경을 제거한 상태로 입력받아 도메인 갭을 줄인다. Joint Attention 모듈 내에서 Query(Q)는 생성 대상 프레임, Key(K)와 Value(V)는 참조 이미지와 텍스트 토큰의 결합체로 구성된다. 이 구조는 모델이 참조 셋에서 시점 일치도가 높은 특징에 더 높은 가중치를 할당하도록 유도한다. 구현 측면에서는 HunyuanVideo-1.5(8.3B) 모델의 전체 파라미터 중 약 1.15%인 95.62M 파라미터만을 LoRA로 학습시켜 메모리 효율성을 확보했다.

현재 연구는 주로 강체(Rigid) 또는 정적인 객체에 집중되어 있다. 사람의 몸처럼 복잡한 관절 운동이 있거나 형태가 급격히 변하는 동적인 대상에 대해서는 여전히 3D 일관성을 유지하는 데 한계가 존재한다.