기하학 가이드 강화학습을 이용한 다중 뷰 일관성 3D 장면 편집

2D 이미지 편집 AI는 뛰어나지만 이를 3D 장면 전체에 적용하면 각 각도에서 본 모습이 서로 어긋나는 문제가 있었다. 이 논문은 3D 데이터를 직접 학습시키는 대신, 강화학습을 통해 기존 2D 편집 모델이 스스로 3D 일관성을 유지하도록 유도하여 데이터 부족 문제를 해결하고 작업 속도를 획기적으로 높였다.

기존 3D 장면 편집은 2D Diffusion 모델의 강력한 편집 능력을 활용하려 했으나, 여러 각도에서 생성된 이미지가 기하학적으로 일치하지 않는 '다중 뷰 불일치' 문제가 고질적이었다. 이는 Transformer 아키텍처가 각 이미지를 독립적으로 처리하거나 제한된 시야 내에서만 관계를 계산하기 때문에 발생하는 한계로, 결과적으로 3D 공간에서 물체가 겹쳐 보이거나 위치가 어긋나는 ghosting 현상을 초래한다.

RL3DEdit은 "3D 일관성을 직접 생성하는 것은 어렵지만, 이미 생성된 결과가 3D적으로 일관된지 검증하는 것은 쉽다"는 점에 착안했다. 3D 파운데이션 모델인 VGGT를 '심판(Reward Model)'으로 세우고, 2D 편집 모델이 생성한 결과물들이 서로 잘 맞는지(기하학적 신뢰도)를 점수로 매겨 강화학습 알고리즘인 GRPO로 모델을 훈련시킨다.

이 과정에서 모델은 수만 개의 3D 데이터를 직접 보지 않고도, VGGT가 제공하는 기하학적 가이드를 따라 2D 편집 지식을 3D 일관된 매니폴드(Manifold) 위로 투영하는 법을 배운다. 결과적으로 한 번의 추론만으로도 모든 각도에서 일관된 고품질 3D 편집 결과를 얻을 수 있게 된다.

전체 파이프라인은 2D 에디터(FLUX-Kontext), 3D 보상 모델(VGGT), 그리고 강화학습 알고리즘(GRPO)으로 구성된다. 먼저 3D 자산을 M개의 뷰로 렌더링하여 2D 에디터에 입력하고, 에디터는 모든 뷰를 동시에 편집한다. 훈련 단계에서는 GRPO를 통해 여러 편집 후보군을 생성하고 보상 모델의 피드백을 받아 가중치를 업데이트한다.

보상 시스템은 네 가지 핵심 요소로 설계되었다. 기하학적 보상은 VGGT가 출력하는 깊이(Depth)와 포인트(Point)의 신뢰도 맵 평균을 계산한다. [신뢰도 맵 입력 → 평균 연산 → 일관성 점수 출력] 과정을 거쳐 기하학적 모순을 억제한다. 상대적 포즈 보상은 VGGT가 예측한 각 뷰의 외부 파라미터를 바탕으로 인접한 두 뷰 사이의 상대적 변환 행렬을 구한다. [예측된 포즈 행렬 입력 → 인접 뷰 간 상대 변환 연산 → 정답과의 오차 계산 → 포즈 정확도 점수 출력] 과정을 통해 시점 배치의 정확도를 평가한다.

마지막으로 앵커 보상은 편집 품질을 유지하는 역할을 한다. 오프라인에서 미리 생성한 고품질 단일 뷰 편집 이미지와 현재 모델의 출력을 비교한다. [두 이미지 입력 → LPIPS 지각적 유사도 연산 → 품질 점수 출력] 과정을 통해 모델이 3D 일관성을 쫓다가 원래의 뛰어난 2D 편집 능력을 잃지 않도록 고정한다.

메인 벤치마크인 VIEScore(GPT-4.1 기반 시각 품질 및 지시 이행 평가)에서 5.48점을 기록하여, 기존 SOTA 모델인 EditSplat(3.23점)이나 DGE(2.81점)를 압도적인 차이로 제쳤다. 특히 텍스트 지시 이행 능력과 시각적 품질 모두에서 큰 폭의 개선을 보였다.

다중 뷰 일관성을 측정하는 Ph-Loss(광학적 재투영 손실)에서도 0.076을 기록하여 가장 낮은 수치를 달성했다. 이는 RL3DEdit이 생성한 이미지가 3D 공간상에서 기하학적으로 매우 견고하게 결합되어 있음을 의미한다.

효율성 측면에서 평균 편집 시간은 1.5분으로, 기존 파이프라인 대비 2배 이상 빠르며, 동일한 백본을 사용한 EditSplat(40분)과 비교하면 약 26배의 속도 향상을 보였다. 또한 훈련 데이터의 5%만 사용하고도 뛰어난 제로샷 일반화 성능을 입증했다.

RL3DEdit은 FLUX-Kontext를 백본으로 채택하여 Transformer 아키텍처의 Global Attention 메커니즘을 활용한다. 이는 여러 뷰의 이미지를 시퀀스 차원으로 결합하여 처리함으로써 뷰 간 정보 교환을 극대화하고 강화학습이 탐색할 수 있는 일관된 샘플의 발생 확률을 높인다.

강화학습 알고리즘으로는 GRPO(Group Relative Policy Optimization)를 사용한다. 별도의 가치 함수 네트워크 없이 그룹 내 상대적 보상을 통해 어드밴티지를 계산하므로 메모리 효율적이며, 3D 일관성과 같은 복잡한 보상 구조를 안정적으로 최적화할 수 있다.

보상 모델로 사용된 VGGT는 대규모 실제 3D 데이터로 사전 학습된 파운데이션 모델로, 입력된 다중 뷰 이미지로부터 깊이, 포인트 맵, 카메라 파라미터를 동시에 추정한다. VGGT 내부의 에러 허용 메커니즘에서 도출되는 신뢰도 맵은 기하학적 불일치가 발생한 영역에서 낮은 값을 가지므로, 이를 직접적인 보상 신호로 전환하여 미분 불가능한 3D 일관성을 최적화 가능하게 만든다.

구현 측면에서는 LoRA(rank=32, alpha=32)를 사용하여 FLUX-Kontext를 효율적으로 파인튜닝하며, 훈련 시에는 12단계의 Denoising 과정을 거쳐 높은 이미지 충실도를 확보한다. 추론 시에는 학습된 2D 에디터로 이미지를 생성한 후 3D Gaussian Splatting(3DGS)으로 재구성하여 최종 3D 장면을 완성한다.

2D 백본 모델의 Attention 시퀀스 길이에 성능이 제한된다. 다중 뷰 이미지들이 토큰 용량을 공유해야 하므로 뷰의 개수와 이미지 해상도 사이에 트레이드오프가 발생한다. 또한 GRPO의 계산 오버헤드로 인해 훈련 규모가 제한적이다.