C-GenReg: 확률적 모달리티 퓨전과 다중 뷰 일관성을 갖춘 기하학-이미지 생성 기반의 학습 불필요 3D 포인트 클라우드 등록

기존의 3D 데이터 정렬 방식은 새로운 환경이나 센서 데이터에 대해 다시 학습해야 하는 한계가 있었다. 이 논문은 이미 학습된 대규모 이미지 생성 모델을 활용해 3D 데이터를 이미지로 변환함으로써, 추가 학습 없이도 실내외 다양한 환경에서 정밀한 3D 정렬을 가능하게 한다.

3D 포인트 클라우드 등록은 서로 다른 위치에서 찍은 두 3D 스캔 데이터를 하나로 합치는 과정으로, 핵심은 두 데이터 사이의 공통된 지점(대응점)을 찾는 것이다. 기존 방식은 3D 공간의 특징 벡터(Embedding)를 직접 비교하지만, 3D 데이터는 센서 종류나 밀도에 따라 특징이 크게 변해 일반화 성능이 떨어진다는 한계가 있다.

C-GenReg는 이 문제를 해결하기 위해 3D 기하학 정보를 이미 풍부하게 학습된 2D 이미지 영역으로 옮긴다. 3D 깊이 정보를 입력으로 받아 일관된 RGB 이미지를 생성하는 World Foundation Model을 앵커로 삼아, 서로 다른 시점에서도 기하학적으로 일치하는 가상의 사진을 만들어낸다. 이렇게 생성된 사진들 사이에서 이미지 매칭 모델이 정밀한 픽셀 단위 대응점을 찾으면, 이를 다시 3D 공간으로 역투영하여 정렬에 활용한다.

결과적으로 3D 데이터 자체의 불완전함을 이미지 생성 모델의 강력한 사전 지식으로 보완한다. 이는 마치 흑백 도면만 보고는 맞추기 힘든 부품들을, 모델이 상상해낸 정교한 컬러 사진으로 변환하여 비교함으로써 훨씬 더 정확하고 안정적인 정렬 결과를 얻는 것과 같다.

C-GenReg는 두 개의 병렬 브랜치와 하나의 확률적 퓨전 모듈로 구성된다. 첫 번째인 Generated RGB Branch는 입력된 3D 포인트 클라우드를 깊이 맵 시퀀스로 렌더링한 후, Cosmos-Transfer 모델을 통해 다중 뷰 일관성이 확보된 RGB 비디오를 생성한다. 이후 MASt3R와 같은 VFM을 사용하여 이미지 간의 조밀한 특징 매칭을 수행하고, 이를 원래의 깊이 정보를 이용해 3D 좌표로 복원한다.

두 번째 Geometric Branch는 원본 3D 포인트 클라우드에서 GeoTransformer와 같은 사전 학습된 추출기를 통해 기하학적 특징을 직접 추출한다. 이 브랜치는 이미지 생성 과정에서 손실될 수 있는 미세한 구조적 정보를 보존하는 역할을 한다.

마지막으로 Match-then-Fuse 단계에서는 두 브랜치에서 계산된 유사도 행렬을 확률 분포로 변환한다. [이미지/기하학 특징 유사도 입력 → Softmax 연산 → 대응 확률 출력] 과정을 거쳐 각 모달리티의 사후 확률을 구한 뒤, Noisy-AND 논리에 기반한 결합 수식을 적용한다. 이는 두 모달리티가 모두 동의하는 대응점에 더 높은 신뢰도를 부여하여 이상치(Outlier)를 효과적으로 제거한다.

3DMatch 실내 벤치마크에서 C-GenReg는 기존의 학습 기반 SOTA 모델인 GPCR보다 우수한 성능을 보였으며, 특히 평균 RTE(Translation Error)를 약 절반 수준인 11.9cm로 줄였다. ScanNet 데이터셋을 이용한 교차 데이터셋 일반화 실험에서도 추가 학습 없이 가장 높은 등록 정확도를 기록했다.

실외 Waymo LiDAR 데이터셋 실험에서는 기존 3D 전용 모델들이 센서 특성 차이로 인해 성능이 크게 저하되는 반면, C-GenReg는 회전 오차 2.4도, 평행 이동 오차 0.6m 수준의 압도적인 제로샷 성능을 보였다. Ablation Study 결과, 범용 모델인 DINOv2보다 매칭 특화 모델인 MASt3R를 사용했을 때 오차가 2배 이상 감소하여 태스크 특화 모델의 중요성이 확인됐다.

C-GenReg의 핵심은 3D 등록 문제를 조건부 비디오 생성 문제로 재정의한 것이다. Cosmos-Transfer를 사용할 때 소스(Source)와 타겟(Target)의 깊이 맵을 시간 축으로 연결(Temporal Concatenation)하여 입력함으로써 모델 내부의 시간적 일관성 메커니즘이 두 시점 사이의 기하학적 연결성을 학습 없이도 유지하도록 유도했다.

확률적 퓨전에서는 Noisy-AND 모델을 채택하여 p_fuse = (p_img * p_geo * (1-pi)) / (p_img * p_geo * (1-pi) + (1-p_img) * (1-p_geo) * pi) 수식을 통해 최종 대응점을 산출한다. 여기서 pi는 사전 매칭 확률을 의미한다. 이 방식은 단순한 특징 결합(Concatenation)보다 강건하며, 실험적으로 Noisy-OR 방식보다 정밀도(Precision) 측면에서 우수함이 증명됐다.

가장 큰 한계는 실행 시간이다. World Foundation Model을 통한 비디오 생성 과정이 전체 추론 시간의 대부분(약 507초)을 차지하여 실시간 적용에는 어려움이 있다. 또한 생성 모델의 특성상 프롬프트에 따른 성능 민감도가 존재하며, 완전히 잘못된 시맨틱 프롬프트가 주어질 경우 등록 정확도가 크게 저하된다.