밀집 공간 지각을 위한 경계 중심 비전 사전학습

밀집 공간 인식은 로봇·자율주행·임베디드 지능에서 환경의 기하학적 속성을 측정하고 행동으로 연결하는 근간이다. 기존 대형 시각 프리트레이닝은 의미적 불변성에 치중해 경계와 세밀한 기하 정보를 충분히 보존하지 못하는 경향이 있었다. 이 논문은 경계 자체를 선행 학습 신호로 삼아 경계-민감한 패치 표현을 얻는 방식으로 그 격차를 메우고 실환경에 필요한 깊이·경계·시공간 일관성을 동시에 개선했다.

기존의 자기증류와 마스크 기반 복원은 의미론적 불변성 확보에 유리하지만, 경계 근처의 정보는 모호성 때문에 잘 학습되지 못했다. 경계는 이웃 문맥으로부터 복원될 수 없는 고밀도 구조 정보를 지니므로 경계를 명시적으로 마스크 대상으로 삼아 학습 목표로 삼으면 모델이 문맥에서 경계 기하를 추론하도록 강제할 수 있다. 경계 필드를 픽 단위의 연속값으로 회귀하는 대신 범주형 분포로 재매개화하면 교사-학생 자기증류의 중심화·샤프닝 안정화 기법을 그대로 적용할 수 있다. 범주형 표현은 균등 분포를 무구조 영가설로 취급하여 통계적 유효성 검증을 가능하게 하고, 유효 후보만 학생의 학습 목표로 사용함으로써 부정확한 구조가 학습 신호로 유입되는 위험을 줄인다. 무학습 초기 상태에서도 소수의 코너 포인트와 boundary-field의 중복 투표 특성 때문에 후보 선분이 디코딩될 수 있다. 이로써 교사는 스텝마다 자체적으로 점차 개선되는 경계 목표를 생성하고, 학생은 그 목표를 통해 경계 민감 표현과 의미론적 표현을 동시에 발달시킬 수 있다. 결과적으로 경계 강제 마스킹과 범주형 경계 목표의 결합은 경계에 특화된 정보(깊이 불연속, 물체 외형)를 보존하는 표현을 얻어 선형 프로브로도 깊이·분할·비디오 추적 성능을 크게 끌어올린다.

전체 파이프라인은 자기증류(DINO 계열)의 교사-학생 구조를 기반으로 한다. 학생은 여러 뷰를 인코딩하고 패치 일부를 마스킹한 뒤 교사의 클래스 토큰 분포와 패치 수준 분포를 맞추도록 학습한다. 여기에 교사가 예측한 경계 필드에서 검증된 경계 패치를 강제로 마스크에 포함시켜 해당 패치들이 추가적인 범주형 경계 손실을 받게 한다. 경계 필드는 각 픽에 대해 거리(d), 방향(θ), 두 끝점 각도(ϕ1, ϕ2) 같은 채널을 저장하는 밀집 표현으로 정의된다. 연속값 회귀는 EMA 루프에서 불안정하므로 각 채널을 K개의 이산 빈으로 나누어 소프트 라벨을 만들고 교사는 이 소프트 라벨을 학생에게 교사 분포로서 제공한다. 학생은 각 채널에 대해 크로스엔트로피를 최소화한다. 교사 측의 목표 생성은 네 단계로 이루어진다. 먼저 글로벌 뷰에서 교사가 필드를 예측하고, 고정된 소형 코너 탐지기로부터 코너 시드를 얻는다. 코너와 필드를 결합해 투표 기반으로 후보 선분을 디코딩하고, a-contrario 검정으로 유의미한 후보만 선별한 뒤 그들을 재렌더링해 깨끗한 범주형 경계 목표 필드를 만든다. 이 전체 과정은 GPU 배치 연산으로 병렬화하여 학습 처리율 저하를 최소화했다. 최종 학습 손실은 클래스 토큰에 대한 DINO 손실, 패치 수준 자기증류(iBOT) 손실, 경계 위치에 대한 범주형 경계 손실, 그리고 KoLeo 정규화항의 합이다. 경계 토큰은 의미론적 분포와 경계 분포라는 이중 목표를 갖고, 교사는 EMA로 학생을 추적해 목표가 점진적으로 향상되도록 한다.

작은 규모(ViT-L/16 ImageNet-1K 실험)에서 범주형 경계 목표를 추가하면 NYU-Depth v2의 δ1과 RMSE가 유의미하게 개선되었고, 의미론적 성능(kk-NN)은 손실 없이 유지되었다. 경계 토큰에 대해 의미적 손실을 병행하면 추가 이득이 관찰되어 두 목표의 상호보완성을 확인했다. 랜덤 마스크에서 경계 토큰을 강제로 마스킹하되 의미적 재구성만 사용하면 개선이 없었고, 기하학적 목표가 핵심 변수로 확인되었다. 대규모로 확장한 LingBot-Vision(약 1.1B 파라미터, ViT-g/16)은 여러 다운스트림 밀집 과제에서 동급 이상의 성능을 기록했다. NYU-Depth v2에서 표본 비교군을 포함한 환경에서 최저 RMSE를 달성했고, ADE20K·Cityscapes·VOC 같은 분할 벤치마크에서도 동급 경쟁력을 보였다. 학습된 특징은 PCA 시각화에서 물체 내부의 일관성과 경계의 선명도를 동시에 보여주어 정성적 차이를 드러냈다. 비디오 무학습 물체 분할(DAVIS·YouTube-VOS)에서는 고정 특징에 기반한 라벨 전파로도 강한 시간적 일관성을 보였고, 경계 토큰을 쿼리해 프레임 간 코사인 유사도로 추적하면 피사체를 안정적으로 추적할 수 있었다. 또한 LingBot-Vision을 초기화로 사용한 깊이 완성 시스템 LingBot-Depth 2.0은 다수의 실제 센서 및 합성 데이터셋에서 이전 버전 대비 일관된 성능 향상을 달성했다.

아키텍처는 ViT-g/16(약 1.1B 파라미터)과 이에 대응하는 증류된 ViT-L/B/S 학생들로 구성되었다. 피드포워드에는 SwiGLU를 사용했고, 로터리 위치 임베딩은 fp32로 계산되며 경계 헤드는 토큰별 MLP 후 타일 확장(unfold)을 통해 서브토큰 해상도를 생성한다. 경계 채널당 K=32 빈을 사용했고 출력은 정규화된 프로토타입과 코사인 유사도로 점수화한다. 경계 필드는 각 픽에 대해 거리 채널과 방향·끝점 각도 채널을 포함하는 중복 파라미터화로 정의된다. 학생은 경계 위치에서 교사가 생성한 소프트 라벨 분포(빈 중심의 기댓값 역산)를 크로스엔트로피로 학습하고, 교사는 EMA로 업데이트되며 중심화·샤프닝이 적용된다. 후보 선분은 픽 단위 투표를 집계해 디코딩하고 a-contrario NFA 테스트로 검증한 뒤 재렌더링해 학생의 목표로 사용된다. 학습 스케줄은 세 단계로 진행되었다: 300k 이터의 자기증류 사전학습, 100k 이터의 Gram anchoring(밀집 특징 유지용), 그리고 100k 이터의 고해상도 적응 단계이다. 최종 학습은 global batch size 3072, AdamW 옵티마이저, KoLeo 정규화와 함께 DINO/iBOT/경계 손실을 합산한 목적함수를 사용했다. 온라인 타깃 생성과 크로스엔트로피 계산은 메모리·연산 최적화를 위해 커스텀 GPU 커널로 구현되어 호스트 병목을 제거했다. 효율성 측면에서 경계 헤드는 전체 해상도에서 동작하지 않고 경계 토큰에 대해서만 서브토큰을 펼쳐 비용을 경감했다. 후보-코너 매칭·a-contrario 검정·렌더링 단계 모두 배치화되어 GPU에서 병렬 처리되며, 중간 텐서 생성과 메모리 트래픽을 줄이기 위해 라벨 생성과 교차엔트로피 계산을 융합한 커널을 사용했다.

논문 자체에서도 경계 모델링과 의미론적 불변성 사이의 긴장이 존재한다고 명확히 언급되었다. 경계 민감 표현을 강화하는 설계는 이미지 수준의 분류 성능에서는 DINOv3 계열의 최상위 모델들과 약간의 성능 격차를 보였고, 이는 표현의 용도에 따라 트레이드오프가 존재함을 시사한다. 또한 부트스트랩을 위해 고정된 소형 코너 탐지기가 필요하며, 이 구성 요소의 존재는 완전한 무구조 학습과는 구별되는 설계 제약으로 남는다.