Cross-Space Denoising 기반 JanusMesh: 제로샷으로 빠르게 3D 시각 환상 생성

다중 시점에서 서로 다른 의미를 갖는 3D 객체를 한 메쉬로 표현하는 기술은 기존 SDS 기반 방법의 느림, 과포화된 색상, 불연속 접합 문제로 제약이 크다. JanusMesh는 훈련 없이 두 가지 시맨틱을 갖는 고품질 3D 환상을 빠르게 생성하며, 지오메트리 무결성과 텍스처 품질을 모두 향상시킨다.

출발점: 두 가지 의미를 갖는 3D 환상을 얻으려면 각 시점에서의 기하학적 일관성과 텍스처 해석이 동시에 필요하다. 기존의 SDS 기반 방식은 per-객체 최적화가 필요하고, 합성 시 지오메트리 간섭이 발생하기 쉽다. 본 논문은 3D latent를 두 개의 독립적 denoising 경로로 처리한 뒤, voxel 공간에서 SDF blending으로 기하를 융합하고, 재차 latent로 인코딩한다. 이 Cross-space denoising은 Geometric validity를 유지하는 동시에 두 시맨틱의 분리된 표현을 가능하게 한다. 텍스처는 Stage 2에서 view별로 2D diffusion priors를 투사·합성하고, Mesh Texture Aggregation으로 두 시점 간의 경계에서도 매끄러운 텍스처를 보장한다. CLIP-guided Orientation Search는 두 객체의 실루엣 정합성을 자동으로 최적화하여 지오메트리 간섭을 최소화한다. 최종적으로 3D 환상의 질은 3~5분의 실행 시간과 함께 실험적으로 우수함이 확인된다.

개요: y1, y2 두 프롬프트와 θ1, θ2의 목표 각도에서, 두 개의 독립된 지오메트리 브랜치를 통해 Stage 1에서 기하를 생성하고_SDF blending으로 융합한다. Stage 2에서 depth-conditioned Stable Diffusion의 예측 이미지를 각 뷰에서 역투영(un-project)하고 Mesh Texture Aggregation으로 두 시점의 텍스처를 결합한다. 이로써 하나의 3D 메쉬가 두 시점에서 서로 다른 의미를 보여준다.

벤치마크 및 정량 평가에서 제시된 수치들로, 제로샷 방식의 효율성과 품질을 입증한다. GPT Accuracy 84%, FID 185.555, KID 0.051, Avg. Object Count 0.86, Multi-Obj. Rate 18% 등으로, Shape From Semantics, Direct Concatenation, TRELLIS, DreamBeast 대비 우수하거나 동등한 성능을 보이며, 런타임은 3–5분으로 SDS 기반 대비 현저한 차이를 보인다.

1. 전체 아키텍처는 Stage 1의 Dual-Branch Geometry Generation과 Stage 2의 View-Conditioned Texture Synthesis로 구성된다. 2) Stage 1은 두 개의 독립 denoising 경로를 y1, y2로 조건화하고, z_t에서 v1, v2로 디코딩한 뒤 SDF blending을 통해 합성된 x^{1}{1|t}를 얻고, 이를 z^{1}{1|t}로 재인코딩한다. 3) SDF blending은 두 voxel의 SDF를 각 성분별로 평균하고 τ로 이진화하여 합성 표면을 얻는 방식이다. 4) CFG(Classifier-Free Guidance)와 Interval CFG를 사용해 중간 노이즈 단계에서 품질을 높이고 과포화 문제를 완화한다. 5) Stage 2는 depth-conditioned ControlNet 기반 Stable Diffusion으로 각 뷰에서 텍스처를 예측하고, Mesh Texture Aggregation으로 코사인 가중치 기반으로 결합해 최종 텍스처를 생성한다. 6) CLIP-guided Orientation Search는 4개 뷰의 텍스처를 기준으로 I1을 선택하고, Object 2의 회전 θ2*를 28개의 후보 각도에서 I1과의 이미지-이미지 CLIP 유사도로 최적화한다. 7) Noise Guidance는 두 가지 전략을 도입한다. (a) Noise Blending Guidance: v^1, v^2를 결합해 guidance latent를 얻고 이를 노이즈와 가중합한다. (b) Space Control Guidance: t0를 증가시켜 초기 denoising 시점에서 구조적 제약을 강화한다. 8) 확장: 3-object Illusion의 경우 denoising branch를 3개로 확장하고 각기의 고정 각도(0, 120, 240도)에서 fusion한다. 9) 구현 세부: RTX 4090에서 실행하며, SDF의 Truncated distance clip_s=12, τ=0.8, Stage 1은 25 denoising steps, Stage 2는 30 steps, ω=7.5의 Interval CFG, CLIP은 OpenCLIP ViT-B/32, t0=10 등이다.

특정 객체군에서 TRELLIS의 실패 사례(예: pigs, bats) 존재. 3-object Illusion에서 CLIP-guided Orientation Search가 불안정해지며 세 객체의 각도 자동 정렬이 어려워 현재는 0/120/240도로 고정한다.