PointDiT: 픽셀 공간 확산 기반 단안 포인트맵 추정을 위한 간결한 ViT 프레임워크

왜 중요한가

단안 이미지를 3D 포인트맵으로 복원하는 문제는 투명체와 얇은 구조에서 본질적 모호성이 존재하여 결정론적 회귀가 평균화된 과도하게 부드러운 해를 산출하는 한계가 있다. 본 논문은 VAE 기반 잠재공간을 배제하고 픽셀 공간에서 직접 확산 학습을 수행함으로써 인코더·디코더에 의한 정보 손실을 제거하고 경계와 고주파 구조를 더 잘 보존하는 실용적 대안을 제시했다. 이 접근은 단일 단계 추론으로도 경쟁력 있는 성능을 달성하며, 추가 단계로 세부를 점진적으로 개선할 수 있어 실시간 제약이 있는 응용에도 유리하다.

핵심 기여

픽셀 공간에서 ViT 기반 확산기로 3D 포인트맵을 직접 모델링

원시 포인트맵(H×W×3)을 이미지처럼 패치화하여 단순한 Vision Transformer로 직접 확산 학습을 수행했다. 이 구조는 VAE 토크나 복잡한 토크나이저를 제거하여 아키텍처 복잡도를 낮추고 VAE 재구성 노이즈로 인한 성능 한계를 회피했다. 실험에서 이 방식은 경계 선명도(BF1)를 크게 개선하면서 깊이 정확도에서도 경쟁력 있는 결과를 보였다.

DINOv3 패치 토큰을 조건으로 활용한 이미지-기하 융합

입력 RGB 이미지는 동결된 DINOv3의 다중 중간층 특성에서 패치 토큰을 추출해 포인트맵 토큰과 채널 단위로 결합했다. 이 결합은 이미지의 구조적 단서를 확산기 내부로 직접 주입하여 모호한 영역의 해석을 향상시켰다. 네트워크는 DINOv3 특성을 이용해 합성 학습에서 실세계 일반화 성능을 확보했다.

x x-예측 목표와 flow-matching 손실의 조합

네트워크 출력은 깨끗한 포인트맵을 직접 예측(x x-예측)하고 이를 속도(velocity)로 변환해 flow-matching 기반 MSE 손실로 최적화했다. 이 설계는 기존의 v v-예측보다 수렴 안정성과 재구성 품질에서 유의미한 이득을 보였으며, 정규화·하늘 처리·상대 오차 항을 결합해 훈련 안정성을 확보했다. 실험적 검증에서 v v-예측은 성능이 크게 열악함이 관찰되었다.

단일 스텝 추론으로도 우수한 성능을 달성하고 다단계로 정교화 가능

학습된 모델은 t=0에서 시작하는 단일 스텝 Euler 적분으로도 경쟁력 있는 포인트맵을 생성하며, 무작위 잡음 대신 전부 0 초기화로도 유사한 결과를 보였다. 추가 샘플링 스텝을 적용하면 경계 선명도(BF1)가 점진적으로 개선되어 한 모델로 단일·다단계 추론 모두를 지원한다. Latent 기반 확산 모델에 비해 추론 시간과 파라미터 측면에서 효율적임이 보고되었다.

핵심 아이디어 이해하기

단안으로부터 밀집한 3D 포인트맵을 추정하는 문제는 역투영의 본질적 불확실성 때문에 한 입력에 대해 여러 가능한 기하가 존재한다는 점에서 결정론적 회귀가 평균화된 결과를 낳는 구조적 한계를 가진다. 기존 방법들은 ViT와 컨볼루션의 하이브리드 아키텍처나 VAE 기반 잠재공간을 사용해 표현력을 높였으나, VAE의 인코딩·디코딩 과정에서 고주파 정보가 손실되거나 학습 목표 간 충돌이 발생한다는 문제가 확인되었다. 따라서 본 연구는 입력-출력 정렬을 유지하는 픽셀 공간에서 확산 프로세스를 직접 학습하여 불확실한 영역을 확률적으로 모델링하면서도 경계와 세부를 보존하고자 했다.

관련 Figure

Other
이 그림은 얇은 세부와 투명 객체의 내부 구조에서 생성적 모델이 더 선명한 경계를 유지하고 투명체의 깊이를 더 합리적으로 복원함을 사례별로 제시한다. 시각적 차이는 Table의 BF1 개선과 정성적으로 일치하며, 생성적 접근이 모호한 영역을 확률적으로 표현할 때의 장점을 강조한다. 따라서 이 이미지는 core intuition과 results를 연결하는 근거로 활용된다.
결정론적 회귀와 생성적 flow-matching의 깊이 맵 결과를 나란히 배치해 디테일과 투명체 표현에서의 차이를 보여준다.

방법론

모델은 noisy 포인트맵 z_t = t·x + (1−t)·ε의 시간 경로에서 각 시간 t에서의 벡터 필드 v_t를 학습하는 flow-matching 프레임워크를 채택했다. 학습 목표는 네트워크가 깨끗한 포인트맵 x̂를 직접 예측하도록 하고 이를 식별식(4)를 통해 속도 v̂_t로 변환하여 상수 속도 목표 u_t = x−ε와 MSE를 최소화하는 것이다. 이때 안정성을 위해 (1−t) 분모를 δ=0.05로 클리핑하고 하늘 픽셀에는 가중치 w_i=0.01을 적용해 과도한 원거리 값이 최적화를 지배하지 않도록 설계했다.

관련 Figure

Diagram
이 그림은 입력 포인트맵의 패치화, DINOv3로부터의 이미지 조건화, 두 토큰의 채널 결합, ViT 블록을 통한 처리, 그리고 선형 예측과 언패치화로 최종 포인트맵을 복원하는 처리 흐름을 한눈에 제시한다. 특히 VAE 기반 잠재공간 대신 픽셀-스페이스에서 직접 처리하는 설계 결정을 시각적으로 강조하며 이로 인해 경계 보존 및 단일 스텝 추론이 가능함이 도식적으로 연결된다. 이 다이어그램은 방법론 섹션의 구조적 요소들을 직접적으로 보강하는 근거 자료로 기능한다.
아키텍처 다이어그램으로 노이즈 포인트맵과 DINOv3 이미지 토큰을 패치화해 결합한 뒤 ViT 확산기로 처리해 깨끗한 포인트맵을 복원하는 전체 파이프라인을 보여준다.

Other
이 그림은 더 작은 패치(p=16)가 더 많은 공간적 해상도를 유지해 경계와 미세 구조를 더 잘 복원한다는 실험적 근거를 제공한다. 논문은 이 결과를 통해 포인트맵과 같이 픽셀 정확도가 중요한 작업에서는 작은 패치 크기가 필요하다는 설계 결론을 도출했다. 따라서 이 이미지는 구현 세부(패치 사이즈 선택)가 성능에 미치는 영향을 직접적으로 보강한다.
패치 크기 영향 비교로 512×512 해상도에서 패치 사이즈 32와 16의 깊이 복원 품질 차이를 보여준다.

주요 결과

512×512 해상도의 평균 벤치마크에서 PointDiT-H는 깊이 정확도(Rel^d, δ1^d) 항목에서 최고 성능을 달성했고 포인트맵 δ1^p에서도 우수한 결과를 보였다. 경계 선명도(BF1)에서는 PointDiT의 개선폭이 특히 두드러져 기존 최적값을 상회했으며 이는 VAE를 제거하고 픽셀 공간에서 직접 학습한 설계의 실효성을 뒷받침한다. 단일 스텝 추론에서의 성능 안정성 실험은 무작위 시드나 all-zeros 초기화에 대해 결과 편차가 미미함을 보였고, 추가 스텝은 주로 경계와 세부를 개선하는 것으로 관찰되었다.

관련 Figure

Other
이 피겨는 단일 스텝 추론이 이미 높은 품질을 제공하고 추가 스텝이 주로 경계와 미세 세부를 개선하는 정성적 근거를 제공한다. 논문은 이 시각적 비교를 통해 flow-matching 학습으로 학습된 네트워크가 초기 매핑에서 강한 이미지-포인트 정렬을 학습함을 주장하며, 추가 샘플링은 미세 조정을 담당한다고 해석한다. 따라서 이 이미지는 결과 섹션의 핵심 주장인 단일·다단계 추론 성격을 보강한다.
입력 이미지에 대한 깊이/포인트맵 비교와 PointDiT의 샘플링 단계별(1~4 스텝) 정교화 결과를 정렬해 보여준다.

Other
이 비교는 결정론적 회귀와 잠재 확산 기반 방법들이 얇은 구조나 투명 물체에서 각각 평균화와 VAE 재구성 노이즈로 인해 문제를 가진 반면, PointDiT가 경계 보존과 투명체 처리에서 우수한 복원을 달성함을 시각적으로 입증한다. 그림 상의 붉은 화살표와 확대 영역은 경계의 선명도와 구조 보존 차이를 강조하며 BF1 지표의 개선과 일치한다. 따라서 이 이미지는 논문의 주된 주장인 픽셀 공간 확산의 구조적 이점과 실험적 타당성을 지원한다.
입력 장면과 GT 포인트맵, 여러 비교법(GeometryCrafter, MoGe-2, PointDiT) 결과를 모아 얇은 구조와 투명체 복원에서 PointDiT의 우수성을 보여주는 질적 비교를 담고 있다.

Chart
그래프는 결정론적 회귀가 초기 수렴 속도는 빠르지만 과적합되어 이후 검증 오차가 상승하는 반면, 생성적 flow-matching 모델은 안정적으로 수렴해 더 낮은 최종 검증 오류에 도달함을 수치적으로 보여준다. 이 수렴 행동은 논문이 주장한 생성적 정규화의 효과와 경계 품질 개선(BF1 향상)을 뒷받침한다. 따라서 이 차트는 방법론의 일반화 특성과 학습 안정성에 대한 정량적 근거로 기능한다.
학습 곡선을 비교한 선형 그래프으로 세대적 flow-matching 기반 모델과 결정론적 회귀의 검증 오류 변화를 Epoch별로 제시한다.

기술 상세

전체 아키텍처는 입력 노이즈 포인트맵 z_t, 시간 t, 그리고 DINOv3로부터 추출한 이미지 패치 토큰 T_c를 채널 방향으로 연결한 뒤 선형투영으로 임베딩 차원 D로 맞추어 Transformer 블록 스택으로 처리하는 단순한 ViT 기반 확산기이다. 포인트맵은 p×p 패치로 나뉘어 각 패치가 3p^2 차원으로 평탄화된 뒤 선형 프로젝션 φ를 통해 임베딩되고, DINOv3는 네 개의 균등 간격 중간층을 결합해 N×4D 차원의 풍부한 이미지 표현을 제공한다. 학습 시 사용한 노이즈 스케줄은 로그릿-노말 분포를 sigmoid로 매핑하되 확률 p_zero=0.1로 t를 정확히 0으로 설정해 훈련-추론 불일치를 완화했고, 손실 함수는 flow-matching MSE ℒ_fm과 상대 포인트 오차 ℒ_rel을 λ=0.1 비율로 결합하여 높은 동적 범위의 포인트 에러에서 근거리 세부를 강조했다.

관련 Figure

Photo
이 그림은 잠재 기반 VAE가 포인트클라우드 재구성에서 도입하는 노이즈와 결함을 정량화 없이도 직관적으로 드러낸다. 논문은 이 시각적 증거를 바탕으로 latent diffusion 계열의 근본적 한계를 주장하며, 픽셀 공간으로 바로 학습하면 이러한 손실을 줄일 수 있음을 뒷받침한다. 따라서 이 이미지는 VAE 제거의 필요성 및 본 방법의 장점을 실험적 맥락에서 강조하는 역할을 한다.
실제 포인트클라우드와 VAE 재구성 결과를 비교한 시각화로 VAE 복원에서 발생한 노이즈와 구조 훼손을 보여준다.

한계점

논문에서 명시한 한계로는 고정 해상도(256×256 및 512×512)에서 학습되어 해상도 일반화에 제약이 있다는 점이 있다. 또한 실외 장면 성능이 합성 데이터 규모와 다양성의 제한으로 인해 아직 개선 여지가 존재한다고 보고되었다. 마지막으로 본 모델은 현재 기하(포인트맵)만 예측하며 색상·반사 등 추가 모달리티를 함께 예측하려면 아키텍처 확장과 추가 학습 데이터가 필요하다.

실무 활용

PointDiT는 합성 데이터로 사전학습된 ViT 기반 확산기를 이용해 단안 이미지를 빠르게 3D 포인트맵으로 복원할 수 있으므로 로봇의 장면 이해나 AR/VR에서 실시간 제약 하에 정확한 기하 정보가 필요한 응용에 활용 가능하다. 단일 스텝 추론으로도 경쟁력 있는 결과를 얻을 수 있어 배포 시 연산 비용을 낮출 수 있다. 다만 현재 공개 코드 리포지토리 정보가 논문에 명시되어 있지 않으므로 실무 도입 전 구현·평가 비용이 필요하다.

로봇 내비게이션과 장면 재구성에서 카메라 단일 뷰로부터 실시간에 가까운 3D 포인트맵을 제공하는 모듈로 사용될 수 있다.
증강현실 애플리케이션에서 깊이 기반 가상 객체 배치와 충돌 검출을 위해 장면의 기하 경계를 정확히 복원하는 전처리기로 활용될 수 있다.
데이터 수집이 어려운 도메인에서 합성 데이터 사전학습 후 도메인 적응을 거쳐 실세계 단안 복원 성능을 확보하는 파이프라인의 구성요소로 적용 가능하다

코드 공개 여부: 미확인

키워드

Diffusion Transformer(확산 Transformer)ViT(Vision Transformer)pixel-space diffusion(픽셀 공간 확산)point map(포인트 맵)DINOv3(자기지도학습 이미지 표현)flow matching(플로우 매칭)

용어 해설

픽셀 공간 확산(Pixel-space Diffusion): — 모델이 이미지나 다중 채널 신호를 압축된 잠재공간 대신 원시 픽셀(또는 채널) 값 공간에서 직접 확산 과정으로 생성하는 접근법이다. 이 방식은 VAE로 인한 인코딩·디코딩 손실을 피하고 입력·출력 위치별 정렬을 유지하므로 경계와 고주파 구조를 더 잘 복원할 수 있다. 본 논문에서는 3D 포인트맵을 RGB처럼 다루어 ViT 기반 확산기로 직접 학습하는 핵심 설계이다.
플로우 매칭(Flow Matching): — 확률 경로를 시간 매개변수에 따라 노이즈 분포에서 데이터 분포로 연속적으로 이동시키는 벡터 필드를 학습하는 방법론이다. 논문은 선형 보간 경로에서 시간별 속도 벡터를 학습하고 이를 ODE 형태로 적분하여 노이즈를 깨끗한 포인트맵으로 전송한다. 이 방식은 연속적 변환을 직접 모델링하므로 단안 기하의 모호성을 확률적으로 표현하는 데 적합하다.
포인트 맵(3D 좌표 맵)(Point Map): — 각 이미지 픽셀에 대응하는 3차원 좌표 (X,Y,Z)를 카메라 좌표계로 저장한 텐서이다. 단안 입력으로부터 깊이만 예측하는 2.5D 깊이 맵과 달리 카메라 좌표계에서 즉시 3D 재구성이 가능하다는 점에서 차별화된다. 본 연구는 이 포인트 맵을 다중 채널 이미지처럼 처리하여 ViT 기반 확산기로 직접 생성한다.
DINOv3 특성(DINOv3 Features): — 자기지도학습으로 학습된 비전 인코더 DINOv3에서 추출한 패치 단위 표현으로, 저수준부터 고수준까지 여러 층의 특성을 결합해 이미지 기반 조건 정보를 제공한다. 논문은 이 고정된(동결된) 표현을 포인트맵 확산기 입력과 채널 결합하여 기하 추정의 구조적 단서를 제공했다. 사전학습된 표현은 합성에서 실세계 일반화에 기여한다.
패치화(Patchification): — 고해상도 H×W 텐서를 p×p 크기의 비중첩 패치로 분해하여 각 패치를 벡터로 펼치고 선형 프로젝션으로 임베딩해 Transformer의 시퀀스 길이를 줄이는 절차이다. 포인트맵의 공간적 정렬을 유지하면서 계산비용을 낮추는 핵심 구현 기법으로, 패치 크기는 경계 보존과 계산 효율성 간의 트레이드오프를 결정한다. 논문은 p=16을 기본으로 사용하여 경계 복원 성능을 확보했다.

PointDiT: 픽셀 공간 확산 기반 단안 포인트맵 추정을 위한 간결한 ViT 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드