CVPR 2026 Auto3D 챌린지 우승: iMerit의 자동 주석 파이프라인 분석

섹션별 상세

SAM 3를 사용하여 2D 객체를 탐지하며, 클래스별로 최적화된 텍스트 프롬프트를 적용해 리콜을 개선했다.

라이다 포인트를 이미지 마스크에 투영하고, 차량은 가장 큰 클러스터를 선택하는 휴리스틱을 적용해 3D 공간으로 객체를 리프팅했다.

LION-Mamba 검출기의 오탐지를 방지하기 위해 CLIP 기반 검증 헤드를 도입하여 이미지와 일치하는 객체만 선별했다.

7개의 희귀 클래스에 대해서만 SAM 3에 LoRA 어댑터를 적용하여 전체 모델을 수정하지 않고도 탐지 성능을 극대화했다.

근거

SAM 3에 LoRA 어댑터를 적용하여 희귀 클래스 탐지 성능을 개선했다. — Stage 3: Cuboid fitting and verified fusion 섹션

자동 주석(Auto-annotation): — 수동 라벨링 없이 AI 모델을 사용하여 데이터셋에 주석을 다는 기술이다. 자율주행 데이터셋 구축 시 비용과 시간을 획기적으로 줄이는 핵심 공정이다.
라이다(LiDAR): — 레이저를 발사하여 반사되어 돌아오는 시간을 측정해 주변 환경을 3차원으로 인식하는 센서이다. 자율주행차의 거리 측정 및 객체 탐지에 필수적이다.
3D 바운딩 박스(3D Bounding Box): — 3차원 공간상의 객체 위치와 크기를 정의하는 직육면체 형태의 라벨이다. 자율주행 시스템이 주변 사물을 인지하는 기본 단위이다.
오픈 보캐블러리 탐지(Open-vocabulary Detection): — 사전에 정의된 클래스 외에 새로운 객체도 텍스트 프롬프트를 통해 탐지할 수 있는 기술이다. 유연한 객체 인식이 가능하다.
다중 가설 검정(Multi-hypothesis Testing): — 여러 후보 박스 중 LiDAR 포인트와 이미지 증거를 가장 잘 설명하는 최적의 박스를 선택하는 기법이다.

근거