밀집 공간 지각을 위한 경계 중심 비전 사전학습

왜 중요한가

밀집 공간 인식은 로봇·자율주행·임베디드 지능에서 환경의 기하학적 속성을 측정하고 행동으로 연결하는 근간이다. 기존 대형 시각 프리트레이닝은 의미적 불변성에 치중해 경계와 세밀한 기하 정보를 충분히 보존하지 못하는 경향이 있었다. 이 논문은 경계 자체를 선행 학습 신호로 삼아 경계-민감한 패치 표현을 얻는 방식으로 그 격차를 메우고 실환경에 필요한 깊이·경계·시공간 일관성을 동시에 개선했다.

핵심 기여

경계를 학습 신호로 삼는 경계 중심 자기지도학습 규범화

교사의 경계 필드로부터 검증된 경계 토큰을 식별하여 학생의 마스크에 강제로 포함시키는 방식이 도입되었다. 이로 인해 모델은 주변 문맥으로부터 경계 기하를 재구성하도록 학습되어 경계 영역에서의 표현 학습이 집중되었다. 경계 토큰에는 의미론적 자기증류 손실과 범주형 경계 손실을 동시에 적용하여 두 목표가 상호 보완적으로 공진하도록 유도했다.

경계 필드의 범주화 재매개화로 안정적 자기증류 달성

연속적 필드 회귀는 EMA 교사-학생 루프에서 붕괴가 쉬워 범주형 이산 분포로 각 채널을 디스크리타이즈했다. 범주형 레이블을 통해 교사의 중심화·샤프닝 메커니즘을 그대로 적용할 수 있었고, 균등 분포는 무구조 영가설의 자연스러운 표현이 되어 유효성 검증이 가능해졌다. 이 설계는 경계 학습을 기존의 자기증류 안정화 기법과 호환시키는 역할을 했다.

경계 후보의 온라인 생성·검증 파이프라인을 훈련 루프에 통합

교사는 각 스텝에서 자체적으로 필드를 예측하고 소수의 코너 포인트와 결합해 후보 선분을 디코딩한 뒤 a-contrario 검정으로 유효 후보만 선별하여 재렌더링된 목표 필드를 학생에게 제공한다. 이 전체 과정은 GPU 배치 연산으로 구현되어 호스트 동기화를 피하고 학습 처리율에 미미한 오버헤드만 추가했다. 초기 단계에서도 코너 기반 디코딩의 중복 투표 특성으로부터 유의미한 경계 신호가 생성되어 부트스트랩이 가능했다.

대규모 확장으로 얻은 LingBot-Vision과 후속 깊이 시스템의 성능 개선

위 방법을 1.1B 파라미터 ViT-g/16에 스케일해 LingBot-Vision을 만들었고, 여러 다운스트림에서 동급 대비 우수한 깊이·분할·비디오 성능을 확인했다. 특히 NYU-Depth v2에서 1B 모델로는 최고의 RMSE를 달성했으며, 같은 프레임워크로 초기 LingBot-Depth를 LingBot-Depth 2.0으로 교체해 14개 깊이 완성 평가에서 선도적 성능을 얻었다. 소형 학생 모델로의 증류도 경계 기반 특성의 장점을 보존했다.

핵심 아이디어 이해하기

기존의 자기증류와 마스크 기반 복원은 의미론적 불변성 확보에 유리하지만, 경계 근처의 정보는 모호성 때문에 잘 학습되지 못했다. 경계는 이웃 문맥으로부터 복원될 수 없는 고밀도 구조 정보를 지니므로 경계를 명시적으로 마스크 대상으로 삼아 학습 목표로 삼으면 모델이 문맥에서 경계 기하를 추론하도록 강제할 수 있다. 경계 필드를 픽 단위의 연속값으로 회귀하는 대신 범주형 분포로 재매개화하면 교사-학생 자기증류의 중심화·샤프닝 안정화 기법을 그대로 적용할 수 있다. 범주형 표현은 균등 분포를 무구조 영가설로 취급하여 통계적 유효성 검증을 가능하게 하고, 유효 후보만 학생의 학습 목표로 사용함으로써 부정확한 구조가 학습 신호로 유입되는 위험을 줄인다. 무학습 초기 상태에서도 소수의 코너 포인트와 boundary-field의 중복 투표 특성 때문에 후보 선분이 디코딩될 수 있다. 이로써 교사는 스텝마다 자체적으로 점차 개선되는 경계 목표를 생성하고, 학생은 그 목표를 통해 경계 민감 표현과 의미론적 표현을 동시에 발달시킬 수 있다. 결과적으로 경계 강제 마스킹과 범주형 경계 목표의 결합은 경계에 특화된 정보(깊이 불연속, 물체 외형)를 보존하는 표현을 얻어 선형 프로브로도 깊이·분할·비디오 추적 성능을 크게 끌어올린다.

방법론

전체 파이프라인은 자기증류(DINO 계열)의 교사-학생 구조를 기반으로 한다. 학생은 여러 뷰를 인코딩하고 패치 일부를 마스킹한 뒤 교사의 클래스 토큰 분포와 패치 수준 분포를 맞추도록 학습한다. 여기에 교사가 예측한 경계 필드에서 검증된 경계 패치를 강제로 마스크에 포함시켜 해당 패치들이 추가적인 범주형 경계 손실을 받게 한다. 경계 필드는 각 픽에 대해 거리(d), 방향(θ), 두 끝점 각도(ϕ1, ϕ2) 같은 채널을 저장하는 밀집 표현으로 정의된다. 연속값 회귀는 EMA 루프에서 불안정하므로 각 채널을 K개의 이산 빈으로 나누어 소프트 라벨을 만들고 교사는 이 소프트 라벨을 학생에게 교사 분포로서 제공한다. 학생은 각 채널에 대해 크로스엔트로피를 최소화한다. 교사 측의 목표 생성은 네 단계로 이루어진다. 먼저 글로벌 뷰에서 교사가 필드를 예측하고, 고정된 소형 코너 탐지기로부터 코너 시드를 얻는다. 코너와 필드를 결합해 투표 기반으로 후보 선분을 디코딩하고, a-contrario 검정으로 유의미한 후보만 선별한 뒤 그들을 재렌더링해 깨끗한 범주형 경계 목표 필드를 만든다. 이 전체 과정은 GPU 배치 연산으로 병렬화하여 학습 처리율 저하를 최소화했다. 최종 학습 손실은 클래스 토큰에 대한 DINO 손실, 패치 수준 자기증류(iBOT) 손실, 경계 위치에 대한 범주형 경계 손실, 그리고 KoLeo 정규화항의 합이다. 경계 토큰은 의미론적 분포와 경계 분포라는 이중 목표를 갖고, 교사는 EMA로 학생을 추적해 목표가 점진적으로 향상되도록 한다.

주요 결과

작은 규모(ViT-L/16 ImageNet-1K 실험)에서 범주형 경계 목표를 추가하면 NYU-Depth v2의 δ1과 RMSE가 유의미하게 개선되었고, 의미론적 성능(kk-NN)은 손실 없이 유지되었다. 경계 토큰에 대해 의미적 손실을 병행하면 추가 이득이 관찰되어 두 목표의 상호보완성을 확인했다. 랜덤 마스크에서 경계 토큰을 강제로 마스킹하되 의미적 재구성만 사용하면 개선이 없었고, 기하학적 목표가 핵심 변수로 확인되었다. 대규모로 확장한 LingBot-Vision(약 1.1B 파라미터, ViT-g/16)은 여러 다운스트림 밀집 과제에서 동급 이상의 성능을 기록했다. NYU-Depth v2에서 표본 비교군을 포함한 환경에서 최저 RMSE를 달성했고, ADE20K·Cityscapes·VOC 같은 분할 벤치마크에서도 동급 경쟁력을 보였다. 학습된 특징은 PCA 시각화에서 물체 내부의 일관성과 경계의 선명도를 동시에 보여주어 정성적 차이를 드러냈다. 비디오 무학습 물체 분할(DAVIS·YouTube-VOS)에서는 고정 특징에 기반한 라벨 전파로도 강한 시간적 일관성을 보였고, 경계 토큰을 쿼리해 프레임 간 코사인 유사도로 추적하면 피사체를 안정적으로 추적할 수 있었다. 또한 LingBot-Vision을 초기화로 사용한 깊이 완성 시스템 LingBot-Depth 2.0은 다수의 실제 센서 및 합성 데이터셋에서 이전 버전 대비 일관된 성능 향상을 달성했다.

기술 상세

아키텍처는 ViT-g/16(약 1.1B 파라미터)과 이에 대응하는 증류된 ViT-L/B/S 학생들로 구성되었다. 피드포워드에는 SwiGLU를 사용했고, 로터리 위치 임베딩은 fp32로 계산되며 경계 헤드는 토큰별 MLP 후 타일 확장(unfold)을 통해 서브토큰 해상도를 생성한다. 경계 채널당 K=32 빈을 사용했고 출력은 정규화된 프로토타입과 코사인 유사도로 점수화한다. 경계 필드는 각 픽에 대해 거리 채널과 방향·끝점 각도 채널을 포함하는 중복 파라미터화로 정의된다. 학생은 경계 위치에서 교사가 생성한 소프트 라벨 분포(빈 중심의 기댓값 역산)를 크로스엔트로피로 학습하고, 교사는 EMA로 업데이트되며 중심화·샤프닝이 적용된다. 후보 선분은 픽 단위 투표를 집계해 디코딩하고 a-contrario NFA 테스트로 검증한 뒤 재렌더링해 학생의 목표로 사용된다. 학습 스케줄은 세 단계로 진행되었다: 300k 이터의 자기증류 사전학습, 100k 이터의 Gram anchoring(밀집 특징 유지용), 그리고 100k 이터의 고해상도 적응 단계이다. 최종 학습은 global batch size 3072, AdamW 옵티마이저, KoLeo 정규화와 함께 DINO/iBOT/경계 손실을 합산한 목적함수를 사용했다. 온라인 타깃 생성과 크로스엔트로피 계산은 메모리·연산 최적화를 위해 커스텀 GPU 커널로 구현되어 호스트 병목을 제거했다. 효율성 측면에서 경계 헤드는 전체 해상도에서 동작하지 않고 경계 토큰에 대해서만 서브토큰을 펼쳐 비용을 경감했다. 후보-코너 매칭·a-contrario 검정·렌더링 단계 모두 배치화되어 GPU에서 병렬 처리되며, 중간 텐서 생성과 메모리 트래픽을 줄이기 위해 라벨 생성과 교차엔트로피 계산을 융합한 커널을 사용했다.

한계점

논문 자체에서도 경계 모델링과 의미론적 불변성 사이의 긴장이 존재한다고 명확히 언급되었다. 경계 민감 표현을 강화하는 설계는 이미지 수준의 분류 성능에서는 DINOv3 계열의 최상위 모델들과 약간의 성능 격차를 보였고, 이는 표현의 용도에 따라 트레이드오프가 존재함을 시사한다. 또한 부트스트랩을 위해 고정된 소형 코너 탐지기가 필요하며, 이 구성 요소의 존재는 완전한 무구조 학습과는 구별되는 설계 제약으로 남는다.

실무 활용

논문에서 공개한 학습법과 체크포인트·코드 저장소는 실무에서 공간 지각 성능을 빠르게 개선하는 용도로 사용 가능하다. 경계 민감 특성을 가진 사전학습 인코더는 깊이 완성, 분할, 비디오 추적 같은 downstream 과제의 선형·무학습 평가에서 즉시 이득을 제공한다. GitHub 저장소와 Hugging Face 체크포인트가 제공되어 재현과 엔지니어링 통합이 용이하다.

로봇 비전 파이프라인에서 센서의 불완전한 깊이 데이터를 채워 넣어 안정적인 거리 측정과 충돌 회피를 개선하는 초기화 인코더로 활용할 수 있다.
무학습 또는 저레이블 예산 환경에서 비디오 객체 추적과 프레임 간 라벨 전파에 고정 특징을 사용하여 데이터 수집 비용을 낮출 수 있다.
시맨틱 분할이나 인스턴스 마스크를 단순한 선형 리드아웃으로 개선하고자 할 때 사전학습 인코더로 도입하면 추가적인 대량 레이블 없이 공간 해상도를 높일 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Masked Boundary Modeling(경계 기반 마스크 모델링)Boundary Field(경계 필드)A-Contrario Theory(무구조 영가설 이론)Self-Distillation(자기증류)Vision Transformer(ViT)(비전 트랜스포머)Depth Completion(깊이 완성)

용어 해설

경계 강제 마스킹 방식(Masked Boundary Modeling): — 교사 예측에서 검증된 경계 토큰을 마스크에 포함시키고 해당 위치에 대해 범주형 경계 목표를 학습하는 자기지도학습 프레임워크이다. 교사의 경계 필드를 이산화하여 각 픽을 분류 대상으로 바꾸고 경계 토큰에는 기하학적(경계) 손실을 추가로 적용한다. 경계가 정보밀도가 높은 영역임을 이용해 밀집 공간 표현의 정밀도를 끌어올리는 핵심 원리이다.
경계 필드(Boundary Field): — 이미지 상의 선분을 주변 픽들이 투표하는 밀집 벡터 필드로 인코딩한 표현이다. 각 픽은 선분까지의 거리, 방향, 양 끝점 각도 같은 채널을 저장하여 단일 픽으로도 선분을 재구성할 수 있도록 중복 정보를 담는다. 다수 픽의 투표를 집계해 후보 선분을 디코딩하고 통계적 검증으로 유효한 경계를 골라낸다.
무구조 영가설 이론(A-Contrario Theory): — 구조가 없다는 영가설 하에서 후보 경계의 지지도를 확률적으로 평가하는 이론으로, 경계 방향의 균등 분포를 기준으로 유의미성을 판단한다. 범주형 경계 확률이 균등에서 벗어날수록 후보 선분의 통계적 유의성이 높아져 false detection을 제어할 수 있다. 이 검증은 외부 임계값 없이도 후보를 필터링하는 근거로 활용된다.

밀집 공간 지각을 위한 경계 중심 비전 사전학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드