SplAttN: 포인트 클라우드 완성을 위한 가우시안 소프트 스플래팅 및 어텐션 기반의 2D-3D 연결

기존의 3D 포인트 클라우드 복원 방식은 성긴 데이터를 2D 평면에 투영할 때 정보가 소실되는 Cross-Modal Entropy Collapse 문제를 겪었다. 이 논문은 가우시안 스플래팅을 활용해 불연속적인 데이터를 연속적인 밀도 표현으로 변환함으로써 2D 이미지의 시각적 정보를 3D 복원에 효과적으로 결합하는 새로운 방법론을 제시한다.

포인트 클라우드 완성은 일부만 관측된 3D 점 데이터를 전체 형상으로 복원하는 작업이다. 기존 연구들은 2D 이미지의 도움을 받기 위해 3D 점을 2D 평면에 투영(Projection)하는데, 이때 점이 찍히지 않은 빈 공간은 정보가 0이 되어 오차가 발생해도 학습을 위한 그래디언트가 전달되지 않는 문제가 발생한다.

SplAttN은 이 문제를 해결하기 위해 각 3D 점을 하나의 점이 아닌 부드럽게 퍼지는 '가우시안 덩어리'로 간주하는 Gaussian Splatting 개념을 도입한다. 이를 통해 2D 평면 전체에 연속적인 밀도 분포가 형성되어, 점이 직접 찍히지 않은 주변 영역에서도 시각적 정보를 참조하고 학습할 수 있는 통로가 열린다.

결과적으로 모델은 이미지의 색상이나 질감 같은 시각적 단서를 3D 기하 구조와 훨씬 더 긴밀하게 연결할 수 있게 된다. 이는 특히 데이터가 극도로 부족한 실제 자율주행 LiDAR 데이터 환경에서도 모델이 단순히 학습된 템플릿을 기억해 출력하는 것이 아니라, 주어진 시각 정보를 능동적으로 활용해 정밀한 복원을 수행하도록 만든다.

전체 아키텍처는 Dual-Branch Feature Extraction과 Global-Local Decoder로 구성된다. 인코더 단계에서는 입력된 부분 포인트 클라우드에서 EdgeConv를 통해 국소 곡률 정보를 추출하고, 이를 Graph Transformer에 입력하여 전역적인 위상 구조를 학습한다.

핵심 메커니즘인 Gaussian Splatting Bridge는 3D 점 u_k를 2D 좌표 q로 투영할 때 가우시안 커널 G를 사용하여 가중치 w_k(q)를 계산한다. [3D 좌표와 시그마 값을 입력으로] → [지수 함수 기반의 가우시안 필터링과 소프트 Z-버퍼 연산을 수행해] → [연속적인 밀도 맵 V(q)를 얻고] → [이 값은 미분 가능한 시각적 특징 지지체 역할을 수행한다].

디코더는 Chamfer Distance를 기반으로 하되, 이상치에 대한 민감도를 조절하기 위해 하이퍼볼릭 변환을 적용한 Weighted Arc-CD 손실 함수를 사용한다. [복원된 점과 정답 점 사이의 거리를 입력으로] → [arccosh 함수를 통한 비선형 압축 연산을 수행해] → [최종 손실값을 얻으며] → [이는 학습 안정성을 높이고 세부 구조 복원력을 강화한다].

PCN 벤치마크에서 평균 L1 Chamfer Distance 6.36을 기록하며 기존 SOTA 모델인 GeoFormer(6.42)를 능가했다. 특히 의자 다리와 같은 미세한 구조 복원에서 탁월한 성능 향상을 보였다.

ShapeNet-55 데이터셋에서도 F1-Score 0.520을 달성하여 SVDFormer(0.444) 대비 큰 폭의 개선을 이루었다. 실제 환경 데이터인 KITTI 데이터셋을 활용한 스트레스 테스트에서 기존 모델들은 시각 정보 제거 시 성능 변화가 거의 없어 이미지에 의존하지 않는 '템플릿 매칭'에 그쳤음을 보여준 반면, SplAttN은 시각 정보 제거 시 성능이 26.1% 하락하며 모달리티 간의 실질적인 의존성을 증명했다.

SplAttN은 Multimodal Learning Theory의 Heterogeneity와 Connection 원칙을 기반으로 설계되었다. 기존의 결정론적 하드 프로젝션이 유도하는 Dirac delta 분포의 한계를 극복하기 위해, 가우시안 커널을 통한 확률적 밀도 추정(Probabilistic Density Estimation)으로 재포뮬레이션했다.

이론적으로 SplAttN의 소프트 스플래팅 방식은 정보 지지체(Support)의 측도를 0에서 양수 값으로 확장하며, 이는 Point-wise Mutual Information(PMI)을 극대화하는 효과를 낸다. 구현 측면에서는 TinyViT를 시각 인코더로 사용하고, Cross-Attention 메커니즘을 통해 기하학적 토큰이 시각적 특징 맵을 능동적으로 쿼리하도록 설계했다.

논문은 현재의 방법론이 오프라인 학습 기반이며, 향후 연구에서 비지도 도메인 적응(Unsupervised Domain Adaptation) 및 실시간성 향상을 위한 백본 경량화가 필요함을 언급했다.