R3PM-Net: 실시간성, 견고성, 실세계를 위한 포인트 클라우드 매칭 네트워크

기존 딥러닝 기반 포인트 클라우드 정합 기술은 깨끗한 합성 데이터에 의존하여 실제 산업 현장의 노이즈와 가려짐 현상에 취약했다. 이 논문은 가벼운 아키텍처와 전역적 문맥 파악 능력을 결합해 실세계의 불완전한 스캔 데이터에서도 실시간으로 정밀한 정합을 가능하게 한다.

기존의 포인트 클라우드 정합 방식은 주로 국부적인 기하학적 특징(Local Geometric Primitives)에 의존했다. 하지만 실제 산업 현장에서 센서로 스캔한 데이터는 점이 듬성듬성하거나 특정 부위가 가려져 있어, 좁은 영역만 봐서는 정확한 대응점을 찾기 어렵다는 한계가 있다.

R3PM-Net은 이 문제를 해결하기 위해 네트워크의 수용 영역(Receptive Field)을 전역적으로 확장했다. 이는 마치 퍼즐 조각 하나만 보고 위치를 맞추는 대신, 퍼즐 전체의 윤곽을 먼저 파악하는 것과 같다. 공유 가중치를 사용하는 Siamese MLP 구조를 통해 입력된 모든 점의 좌표를 고차원 임베딩 공간으로 매핑하고, 전역 풀링을 통해 물체 전체의 구조적 문맥을 특징 벡터에 녹여낸다.

결과적으로 노이즈가 섞이거나 일부가 유실된 스캔 데이터라도 물체의 전체적인 형태 정보를 활용해 정확한 위치를 찾아낼 수 있다. 특히 복잡한 Transformer 구조 대신 단순한 MLP 기반의 전역 문맥 파악 방식을 채택함으로써 연산 효율성을 극대화하여 실시간 공정 제어에 적합한 속도를 확보했다.

R3PM-Net은 Feature Extraction, Correspondence Estimation, Outlier Rejection, Transformation Estimation의 4단계로 구성된다. Feature Extraction 단계에서는 5개의 선형 레이어로 구성된 공유 MLP를 통해 각 점 p=(x, y, z)를 D=1024 차원의 특징 벡터로 변환한다. 이후 Global Max-pooling을 수행하여 전체 기하학적 문맥을 통합한다.

Correspondence Estimation에서는 두 포인트 클라우드 간의 유사도 행렬 M을 계산한다. [두 특징 벡터 집합 Fx, Fy 사이의 Euclidean Distance를 입력으로] → [지수 함수 기반의 Soft-matching 연산을 수행해] → [각 점이 서로 대응될 확률 mjk를 얻고] → [이 값은 두 점이 물리적으로 같은 위치일 가능성을 의미한다].

Outlier Rejection 단계에서는 고정된 임계값 대신 PointNet 모듈을 사용해 반복마다 최적의 임계값 α, β를 동적으로 예측한다. [현재 정합 상태 정보를 입력으로] → [MLP 연산을 거쳐] → [α, β 값을 출력하고] → [이 값은 노이즈나 잘못된 대응점을 걸러내는 기준선 역할을 한다]. 마지막으로 미분 가능한 SVD(Singular Value Decomposition)를 통해 최적의 회전 및 이동 변환 행렬을 산출한다.

ModelNet40 데이터셋 실험 결과, R3PM-Net은 0.007초의 추론 속도로 Fitness Score 1.0과 Inlier RMSE 0.029cm를 달성했다. 이는 기존 SOTA인 RegTR(0.045초)보다 7배 가까이 빠른 수치이며, 파라미터 수는 RegTR 대비 90% 이상 적은 0.96M에 불과하다.

실세계 데이터인 Sioux-Cranfield에서도 Fitness 1.0, Inlier RMSE 0.030cm를 유지하며 강력한 일반화 성능을 입증했다. 특히 이벤트 카메라 데이터를 다루는 Sioux-Scans 실험에서는 기존 모델들이 실패하는 복잡한 기하학적 구조(예: 치아 모델)에서도 50ms 이내에 성공적으로 정합을 완료하여 산업 현장 적용 가능성을 보여주었다.

R3PM-Net은 RPMNet을 베이스라인으로 삼되, 복잡한 하이브리드 피처나 무거운 백본을 제거하고 전역 문맥 인식(Global Context Awareness)에 집중하도록 재설계되었다. 아키텍처는 가중치를 공유하는 Siamese 구조를 채택하여 소스(Source)와 타겟(Target) 포인트 클라우드를 동일한 임베딩 공간으로 투영한다.

수학적으로는 결정론적 어닐링(Deterministic Annealing) 스케줄을 적용하여 국소 최적해(Local Minima) 문제를 완화했다. 손실 함수는 정합 오차를 줄이는 L1 거리 기반의 Registration Loss와 특징 공간에서의 정렬 정확도를 높이는 Geometric Alignment Loss를 결합하여 구성했다. 또한, 초기 정합 이후 GICP(Generalized ICP)를 결합한 Coarse-to-Fine 전략을 통해 최종 정밀도를 보정한다.

논문은 물체가 대칭형(예: 원기둥, 정육면체)일 경우 발생하는 회전 모호성을 완전히 해결하지 못하며, 이로 인해 Relative Rotation Error(RRE)가 실제 정합 품질보다 높게 측정될 수 있는 평가 지표상의 한계를 언급했다. 또한, 특징점이 거의 없는 극단적인 가려짐 상황에서는 여전히 정합 실패 사례가 발생한다.