VGGT-Edit: Residual Field Prediction으로 네이티브 3D 씬 편집

기존의 2D-lifting 편집 방식은 각 뷰를 독립적으로 수정한 뒤 3D로 합성하는 과정에서 다중 뷰 기하학적 일관성과 텍스처 선명도가 저하된다. VGGT-Edit은 텍스트 지시를 3D 기하 공간에 직접 주입하고 잔차 필드 예측으로 국소 변형만 수행하므로, 배경 구조를 보존하면서 명시적 지시를 공간적으로 안정적으로 반영한다. 또한 체계적 뼈대(framework)로 삼는 느린 최적화 기반 방법 대비 빠른 순전파 추론을 제공하며, DeltaScene 데이터셋으로 대규모 학습 근거를 확보한다.

출발점: 기존의 3D 재구성 모델은 정적 씬 인식에 강하지만, 인간의 지시를 즉시 반영하는 편집 능력이 부족하다. 이 논문은 3D 공간에 직접 작용하는 잔차 기반 편집으로 문제를 해결한다. 해결 원리: 1) 깊이 동기화된 텍스트 인젝션으로 텍스트 지시를 공간적으로 정렬하고, 2) 뷰별 신뢰도에 따라 가중치를 주입하여 다/view 간 불일치를 줄인다. 3) 3D 잔차 필드 ΔP를 예측해 base geometry에 더하는 방식으로 국소 편집을 수행하고, 전체 기하를 재학습하지 않아 Background의 구조를 보존한다. 결과: 2D-lifting 기반 방법 대비 다뷰 일관성과 경계 선명도가 향상되며, 단일 순전파로 편집이 가능하고 속도 면에서도 실용적이다. 이로써 텍스트 지시를 따른 실시간 네이티브 3D 편집의 실용화를 제시한다.

전체 접근 방식: π3Backbone를 고정된 기하학적 priors로 사용하고, VGGT-Edit은 텍스트 인젝션 모듈과 잔차 변환 헤드를 통해 입력 다뷰에서 직접 ΔP를 예측한다. 입력: N개의 Sparse 뷰 이미지 I1..IN와 카메라 매개변수 θ1..θN, 지시어 I. 출력: Edited Geometry Pedit = Pbase + ΔP ⊙ M. 핵심 구성 요소: (1) Depth-synchronized Text Injection: etext를 OpenCLIP으로 얻고, L = {l · k + 1} (l=0..4, k=8) 위치의 계층에 교차 어텐션을 수행하여 텍스트 정보를 단계적으로 주입한다. (2) View-Aware Weighting: gn = [sn, an, cn]를 이용해 w_n를 예측하고, Kn = √wnWketext, Vn = √wnWvetext로 key/value를 가중한다. (3) Residual Field Head: Pedit = Pbase + ΔP ⊙ M로 최종 기하를 얻고, ΔP는 3D 필드의 Dense Displacement를 나타낸다. 학습 목표: Ltotal = λedit Ledit + λpres Lpres + λnormal Lnormal + λcam Lcam + λΔ LΔ로 구성된다. 각 손실은 편집 재구성, 비편집 영역 보존, 표면 법선 일관성, 카메라 공간 일관성, 잔차 규제의 다중 제약을 반영한다. 수식/수학 흐름: (a) F = Ψ(Φ(I1..IN), θ1..θN)로 다뷰 특징을 추출해 Pbase를 예측하고, (b) Pedit = Pbase + ΔP ⊙ M로 Edited Geometry를 얻는다. 데이터 파이프라인: DeltaScene 데이터 생성은 Instruction Generation → 3D Mask Refinement → Sequential Multi-View Editing → Viewpoint Selection & Quality Control의 순서를 따른다. 학습 설정: 8 NVIDIA A100에서 10k 이터레이션, 배치 크기 16, 학습률 1e-4, 코사인 스케일링, DeltaScene의 95,000쌍으로 학습, 500쌍으로 검증한다. 차별점: 2D-lifting 기반 방법보다 3D 잔차 학습이 다뷰 간 기하 일관성을 유지하고, 2D 렌더링 의존 없이 한 번의 forward pass로 편집을 수행한다.

주요 벤치마크 및 실험 결과: DeltaScene 데이터셋에서 CLIP Score 30.2, C-FID 122.4, C-KID 0.048를 달성했고, Time은 ∼5초로 보고된다. 2D-lifting baselines인 GaussCtrl, EditSplat, Omni-3DEdit, NoPoSplat, Edit3r와 비교하여 VGGT-Edit가 가장 우수한 종합 성능을 보였다. Ablation 연구(표 2)에서 Sync-Attn 제거 시 CLIP Score가 28.1로 하락하고, View-W 제거 시 C-FID 증가로 기하적 노이즈가 증가하며, Residual Head를 대체하면 배경의 정합성과 안정성이 약화된다. 일반화 실험에서는 보편적 지시문에 대한 제로샷 일반화가 가능하며, 예시로 “rotate the middle chair 90 degrees clockwise.” 같은 지시도 처리한다. 실용성 측면에서 순전파 추론은 약 2초 수준의 속도를 제시할 수 있으나 표에는 ∼5초로 기재되어 있어 문헌 내 수치 차이가 존재한다.

아키텍처: Pi3 기반의 고정된 Reconstruction Backbone(Frozen) + VGGT-Edit 모듈 구성. Depth-Synchronized Text Injection은 여러 레이어에서 텍스트 임베딩 etext를 cross-attention으로 주입하고, View-Aware Weighting은 gn = [sn, an, cn]을 MLP로 처리하여 각 뷰의 가중치를 정규화한다. 잔차 필드 Head는 ΔP를 출력하고, 최종 좌표는 Pedit = Pbase + ΔP ⊙ M로 계산된다. 학습 손실은 Ledit, Lpres, Lnormal, Lcam, LΔ의 합으로 구성되며, 마스크 기반 스케일 정렬과 normal/ 카메라 프레임 일관성, 잔차 정규화를 포함한다. 데이터 파이프라인 DeltaScene은 4단계로 구성: Instruction Generation, 3D Mask Refinement, Sequential Multi-View Editing, Viewpoint Selection & Quality Control. 입력은 다중 뷰 이미지 {In}과 카메라 매개변수 θ, 텍스트 지시문 I, 출력은 Edited Geometry Pedit. 구현은 PyTorch로 8-GPU 환경에서 학습되며 95k 트레이닝 샘플과 500 샘플의 테스트 샘플을 사용한다.