PointDiT: 픽셀 공간 확산 기반 단안 포인트맵 추정을 위한 간결한 ViT 프레임워크

단안 이미지를 3D 포인트맵으로 복원하는 문제는 투명체와 얇은 구조에서 본질적 모호성이 존재하여 결정론적 회귀가 평균화된 과도하게 부드러운 해를 산출하는 한계가 있다. 본 논문은 VAE 기반 잠재공간을 배제하고 픽셀 공간에서 직접 확산 학습을 수행함으로써 인코더·디코더에 의한 정보 손실을 제거하고 경계와 고주파 구조를 더 잘 보존하는 실용적 대안을 제시했다. 이 접근은 단일 단계 추론으로도 경쟁력 있는 성능을 달성하며, 추가 단계로 세부를 점진적으로 개선할 수 있어 실시간 제약이 있는 응용에도 유리하다.

단안으로부터 밀집한 3D 포인트맵을 추정하는 문제는 역투영의 본질적 불확실성 때문에 한 입력에 대해 여러 가능한 기하가 존재한다는 점에서 결정론적 회귀가 평균화된 결과를 낳는 구조적 한계를 가진다. 기존 방법들은 ViT와 컨볼루션의 하이브리드 아키텍처나 VAE 기반 잠재공간을 사용해 표현력을 높였으나, VAE의 인코딩·디코딩 과정에서 고주파 정보가 손실되거나 학습 목표 간 충돌이 발생한다는 문제가 확인되었다. 따라서 본 연구는 입력-출력 정렬을 유지하는 픽셀 공간에서 확산 프로세스를 직접 학습하여 불확실한 영역을 확률적으로 모델링하면서도 경계와 세부를 보존하고자 했다.

모델은 noisy 포인트맵 z_t = t·x + (1−t)·ε의 시간 경로에서 각 시간 t에서의 벡터 필드 v_t를 학습하는 flow-matching 프레임워크를 채택했다. 학습 목표는 네트워크가 깨끗한 포인트맵 x̂를 직접 예측하도록 하고 이를 식별식(4)를 통해 속도 v̂_t로 변환하여 상수 속도 목표 u_t = x−ε와 MSE를 최소화하는 것이다. 이때 안정성을 위해 (1−t) 분모를 δ=0.05로 클리핑하고 하늘 픽셀에는 가중치 w_i=0.01을 적용해 과도한 원거리 값이 최적화를 지배하지 않도록 설계했다.

512×512 해상도의 평균 벤치마크에서 PointDiT-H는 깊이 정확도(Rel^d, δ1^d) 항목에서 최고 성능을 달성했고 포인트맵 δ1^p에서도 우수한 결과를 보였다. 경계 선명도(BF1)에서는 PointDiT의 개선폭이 특히 두드러져 기존 최적값을 상회했으며 이는 VAE를 제거하고 픽셀 공간에서 직접 학습한 설계의 실효성을 뒷받침한다. 단일 스텝 추론에서의 성능 안정성 실험은 무작위 시드나 all-zeros 초기화에 대해 결과 편차가 미미함을 보였고, 추가 스텝은 주로 경계와 세부를 개선하는 것으로 관찰되었다.

전체 아키텍처는 입력 노이즈 포인트맵 z_t, 시간 t, 그리고 DINOv3로부터 추출한 이미지 패치 토큰 T_c를 채널 방향으로 연결한 뒤 선형투영으로 임베딩 차원 D로 맞추어 Transformer 블록 스택으로 처리하는 단순한 ViT 기반 확산기이다. 포인트맵은 p×p 패치로 나뉘어 각 패치가 3p^2 차원으로 평탄화된 뒤 선형 프로젝션 φ를 통해 임베딩되고, DINOv3는 네 개의 균등 간격 중간층을 결합해 N×4D 차원의 풍부한 이미지 표현을 제공한다. 학습 시 사용한 노이즈 스케줄은 로그릿-노말 분포를 sigmoid로 매핑하되 확률 p_zero=0.1로 t를 정확히 0으로 설정해 훈련-추론 불일치를 완화했고, 손실 함수는 flow-matching MSE ℒ_fm과 상대 포인트 오차 ℒ_rel을 λ=0.1 비율로 결합하여 높은 동적 범위의 포인트 에러에서 근거리 세부를 강조했다.

논문에서 명시한 한계로는 고정 해상도(256×256 및 512×512)에서 학습되어 해상도 일반화에 제약이 있다는 점이 있다. 또한 실외 장면 성능이 합성 데이터 규모와 다양성의 제한으로 인해 아직 개선 여지가 존재한다고 보고되었다. 마지막으로 본 모델은 현재 기하(포인트맵)만 예측하며 색상·반사 등 추가 모달리티를 함께 예측하려면 아키텍처 확장과 추가 학습 데이터가 필요하다.