프롬프트를 넘어서: 분포 외 형상을 위한 무조건부 3D 인버전

기존의 Text-to-3D 모델은 프롬프트가 학습 데이터 분포를 벗어나면 형상이 변하지 않는 '싱크 트랩' 현상을 겪습니다. 이 논문은 텍스트 가이드 없이 모델의 무조건부 생성 능력을 활용해 복잡하고 정교한 3D 형상을 복원하고 편집하는 새로운 프레임워크를 제시합니다.

기존의 3D 인버전은 입력 형상을 설명하는 텍스트 프롬프트를 노이즈 공간으로 매핑하는 과정에서 시작된다. 하지만 3D 모델의 언어 이해 능력은 기하학적 표현 능력보다 낮아, 프롬프트가 조금만 어색해도 모델이 반응을 멈추는 '싱크 트랩'에 빠지게 된다. 이는 마치 복잡한 지형을 가진 지도가 있지만, 안내원이 특정 경로 외에는 길을 찾지 못해 제자리를 맴도는 것과 같다.

이 논문은 안내원(텍스트 가이드)의 말에 의존하는 대신, 지도 자체의 지형 정보(무조건부 생성 확률)를 직접 따라가는 방식을 택했다. 텍스트를 비워둔 채 모델이 가진 순수한 기하학적 잠재력을 활용해 형상을 복원함으로써, 텍스트의 한계에 갇히지 않고 복잡한 구조를 정확히 찾아낼 수 있게 된다.

결과적으로 이렇게 복원된 노이즈 공간은 모델의 기하학적 표현력과 완전히 정렬된다. 이후 편집 단계에서만 텍스트를 다시 도입하면, 모델은 이미 확보된 정교한 구조 위에서 텍스트가 요구하는 변화를 훨씬 유연하고 정확하게 반영할 수 있게 된다.

전체 접근 방식은 TRELLIS와 같은 Rectified Flow 기반 3D 생성 모델의 잠재 공간에서 무조건부 인버전을 수행하는 것이다. 먼저 입력 3D 메쉬를 복셀화하여 VAE 잠재 코드 z₀로 인코딩한 뒤, 이를 노이즈 공간 z₁로 역추적하는 과정을 거친다.

인버전 단계에서는 Euler Inversion을 사용하며, 이때 텍스트 프롬프트를 비워둔 Null Condition(∅)을 적용한다. z_{t_{i+1}} = z_{t_i} + (t_{i+1} - t_i) v_θ(z_{t_i}, t_i, ∅) 연산을 통해 각 단계의 속도 벡터를 계산하고 노이즈 공간으로 이동한다. 이는 모델이 텍스트의 간섭 없이 순수하게 형상의 기하학적 특징만을 노이즈로 변환하게 유도한다.

편집 단계에서는 인버전으로 얻은 노이즈 z₁에서 다시 샘플링을 시작하되, Null-Text Inversion(NTI) 최적화를 병행한다. 각 타임스텝 tᵢ에서 무조건부 임베딩 e_uncond를 최적화하여 인버전 시의 참조 궤적과 일치하도록 만든다. 최종적으로 사용자가 원하는 편집 프롬프트 P_edit을 조건부 입력으로 넣어, 원본의 구조적 무결성을 유지하면서도 텍스트에 따른 변형을 생성한다.

DT4D 데이터셋의 200개 비강체 캐릭터를 대상으로 실험한 결과, 제안된 무조건부 인버전 방식은 기존의 텍스트 기반 방식보다 월등한 복원 정밀도를 보였다. L1 오차 기준, 근사 프롬프트를 사용했을 때 76.55였던 수치가 빈 프롬프트를 사용했을 때 5.40으로 대폭 감소했다.

기존의 최신 기술인 VoxHammer와 비교했을 때, 제안 방법은 편집 속도가 약 20배 더 빨랐다. VoxHammer는 편집당 평균 197초가 소요되고 수동 마스킹이 필요한 반면, 본 연구의 파이프라인은 마스크 없이 평균 9초 만에 편집을 완료하면서도 더 높은 구조적 일관성을 유지했다.

이미지 생성 모델인 Stable Diffusion 및 FLUX와의 비교 분석을 통해, 3D 모델이 2D 모델보다 프롬프트 불일치에 훨씬 더 민감하게 반응하며 '싱크 트랩'에 쉽게 빠진다는 점을 수치적으로 증명했다.

본 연구는 3D 생성 모델의 'Expressivity Mismatch' 문제를 해결하는 데 집중한다. 모델의 기하학적 표현 범위는 매우 넓지만, 이를 제어하는 텍스트 임베딩 공간은 특정 영역에 밀집되어 있어 분포 외(OOD) 형상을 처리할 때 속도 벡터의 노름(Norm)이 급격히 증가하며 궤적이 불안정해지는 현상을 발견했다.

이를 해결하기 위해 Rectified Flow의 ODE 적분 과정에서 Classifier-Free Guidance(CFG)의 가이드 스케일을 조정하고, 인버전 시에는 가이드를 완전히 제거한 무조건부 궤적을 생성한다. 이 무조건부 궤적은 모델이 학습한 데이터 분포의 중심을 관통하므로 훨씬 안정적인 역변환이 가능하다.

구현 측면에서는 TRELLIS의 첫 번째 단계인 Sparse Structure Generation 모델(GS)에서 인버전을 수행한다. GS는 8x16x16x16 크기의 잠재 공간을 가지며 전반적인 기하학적 구조를 결정한다. 두 번째 단계인 Structured Latent Generation(GL)은 텍스처와 세부 디테일을 담당하며, 인버전 시에는 이를 고정하여 기하학적 변화에만 집중할 수 있도록 설계했다.

제안된 방법은 근본적으로 기반이 되는 3D 생성 모델의 분포에 제약을 받습니다. 모델이 전혀 학습하지 못한 극단적인 포즈나 형상의 경우, 무조건부 인버전으로 구조는 복원할 수 있어도 이후 텍스트 편집 과정에서 기하학적 타당성이 떨어지는 결과가 발생할 수 있습니다.