전체 접근 방식: π3Backbone를 고정된 기하학적 priors로 사용하고, VGGT-Edit은 텍스트 인젝션 모듈과 잔차 변환 헤드를 통해 입력 다뷰에서 직접 ΔP를 예측한다. 입력: N개의 Sparse 뷰 이미지 I1..IN와 카메라 매개변수 θ1..θN, 지시어 I. 출력: Edited Geometry Pedit = Pbase + ΔP ⊙ M. 핵심 구성 요소: (1) Depth-synchronized Text Injection: etext를 OpenCLIP으로 얻고, L = {l · k + 1} (l=0..4, k=8) 위치의 계층에 교차 어텐션을 수행하여 텍스트 정보를 단계적으로 주입한다. (2) View-Aware Weighting: gn = [sn, an, cn]를 이용해 w_n를 예측하고, Kn = √wnWketext, Vn = √wnWvetext로 key/value를 가중한다. (3) Residual Field Head: Pedit = Pbase + ΔP ⊙ M로 최종 기하를 얻고, ΔP는 3D 필드의 Dense Displacement를 나타낸다. 학습 목표: Ltotal = λedit Ledit + λpres Lpres + λnormal Lnormal + λcam Lcam + λΔ LΔ로 구성된다. 각 손실은 편집 재구성, 비편집 영역 보존, 표면 법선 일관성, 카메라 공간 일관성, 잔차 규제의 다중 제약을 반영한다. 수식/수학 흐름: (a) F = Ψ(Φ(I1..IN), θ1..θN)로 다뷰 특징을 추출해 Pbase를 예측하고, (b) Pedit = Pbase + ΔP ⊙ M로 Edited Geometry를 얻는다. 데이터 파이프라인: DeltaScene 데이터 생성은 Instruction Generation → 3D Mask Refinement → Sequential Multi-View Editing → Viewpoint Selection & Quality Control의 순서를 따른다. 학습 설정: 8 NVIDIA A100에서 10k 이터레이션, 배치 크기 16, 학습률 1e-4, 코사인 스케일링, DeltaScene의 95,000쌍으로 학습, 500쌍으로 검증한다. 차별점: 2D-lifting 기반 방법보다 3D 잔차 학습이 다뷰 간 기하 일관성을 유지하고, 2D 렌더링 의존 없이 한 번의 forward pass로 편집을 수행한다.
