센서 유효성 마스킹으로 성능을 끌어올린 LingBot-Depth 2.0 연구 요약

커뮤니티는 센서-결손을 학습 목표로 삼는 아이디어와 인코더 초기화의 영향에 관심을 보이며 성능 수치에 대해 긍정적인 반응을 보였다. 동시에 Depth 2.0 가중치 비공개로 인해 외부 재현이나 상세 분석이 제한된다는 점에서 회의적인 견해와 검증 요구가 다수 제기되었다. 확장성 관점에서 라이다·열화상 등 다른 센서로의 일반화 가능성에 대한 추가 실험 제안이 활발히 논의되었다.

• 동일 학습 파이프라인으로 백본만 교체하는 통제 실험을 통해 인코더 초기화의 영향을 정량적으로 평가할 것을 권장한다. 이렇게 하면 학습 레시피와 데이터 처리는 고정된 상태에서 초기화가 성능에 미치는 순수한 효과를 측정할 수 있다. 공개 가능한 경우에는 체크포인트와 재현 스크립트를 함께 공개해 외부 검증을 가능하게 해야 한다.
• 실세계 센서 결손 패턴을 수집해 훈련 마스크로 직접 사용하면 무작위 마스크 기반 학습보다 복원 성능이 개선될 수 있으므로 먼저 목표 센서의 실패 사례를 데이터로 축적하고 이를 학습에 반영할 것을 권장한다. 블록-마스크와 희소 설정을 병행 평가해 다양한 결손 유형에서의 강건성을 확인해야 한다.
• 다른 센싱 모달리티로 적용 여부를 시험하려면 해당 센서의 결손 생성 메커니즘을 분석한 뒤 동일한 마스킹 프레임워크로 소규모 실험을 수행해 효과를 검증하되, 모달리티별 노이즈·해상도 차이를 고려한 전처리와 손실 설계가 필요하다.

Masked Depth Modeling

— 센서가 반환하지 않는 깊이 값을 학습 목표로 삼아 결손 영역을 복원하는 방법이다. 입력의 무작위 마스킹 대신 센서가 실제로 실패하는 투명체, 반사, 무텍스처 영역을 마스크로 사용하여 학습 데이터 분포와 추론 시 오류 분포를 일치시킨다. 이 방식은 센서별 실패 모드를 직접 학습하므로 실세계 깊이 완성 성능을 높이는 데 중요하다.

Encoder Initialization

— 모델 학습을 시작할 때 사용하는 사전학습된 백본 가중치의 선택을 가리킨다. 동일한 학습 파이프라인과 데이터에서 백본만 교체하면 초기화 효과를 분리해 비교할 수 있으며, 초기화는 최종 성능과 스케일링 거동에 큰 영향을 준다. 해당 논문에서는 LingBot-Vision과 DINOv2 초기화의 비교가 주된 실험 축이다.

Block Mask

— 입력 깊이에서 큰 연속 구역을 제거하여 모델이 넓은 결손을 메우도록 만드는 평가 설정이다. 실제 센서 실패와 유사한 결손 패턴을 모사하며, 블록 크기와 위치가 성능에 직접적 영향을 미친다. 논문은 이 설정에서의 RMSE 성능을 주요 비교 지표로 사용했다.

Sparse Depth

— 입력으로 소수의 흩어진 깊이 포인트만을 제공하여 모델이 제한된 힌트로 전체 장면 깊이를 재구성하도록 하는 설정이다. 희소 입력은 센서 포인트 클라우드나 희소화된 센서 리포트와 유사한 상황을 재현하며, 복원력과 보간 능력을 평가하는 데 사용된다. 논문은 블록-마스크와 함께 희소 설정에서 성능을 비교했다.

RMSE

— 예측 깊이와 정답 깊이 간 오차의 제곱 평균의 제곱근으로, 회귀형 깊이 복원 성능을 수치화하는 표준 지표이다. 값이 작을수록 예측이 정답에 가깝다는 뜻이며 논문 표에 주요 비교값으로 사용되었다. 논문은 여러 벤치마크에서 RMSE 우위를 근거로 성능 비교를 제시했다.