자율 주행을 위한 멀티모달 자기지도 학습 기반 효율적 2D LiDAR 장면 이해

• •카메라 기반 거리 측정의 부정확성 및 한계 지적
• •LiDAR와 이미지 데이터 간의 동기화 및 센서 융합의 중요성 강조

자율 주행에서 카메라는 시각적 정보를 제공하지만, LiDAR는 레이저를 통해 직접적인 거리(Depth) 정보를 제공한다.

• •3D LiDAR 대비 2D LiDAR의 연산 효율성 및 실용성 분석
• •이미지 시맨틱 정보를 LiDAR 포인트에 매핑하는 기술적 토대 마련

VLM2Scene은 시각-언어 모델(VLM)을 활용하여 LiDAR 장면을 이해하는 최신 연구 프레임워크이다.

• •이미지와 텍스트 정보를 활용한 LiDAR 데이터용 Pseudo-label 생성
• •라벨링 비용 절감을 위한 자기지도 학습 기반의 사전 학습 구조 설계

자기지도 학습(Self-Supervised Learning)은 데이터 자체에서 학습 신호를 찾아내어 정답 라벨 없이 학습하는 방식이다.

• •디지털 트윈 환경을 통한 고품질 충돌 시나리오 데이터 확보
• •LiDAR 포인트 클라우드의 노이즈 제거 및 클러스터링 전처리 적용

디지털 트윈은 실제 사물이나 환경을 가상 세계에 동일하게 구현하여 시뮬레이션하는 기술이다.

• •동일 객체의 오인식을 방지하는 Semantic-Filtered Contrastive Loss 제안
• •텍스트 설명을 활용한 객체 세그먼트 통합 및 학습 안정성 향상

Negative Falses는 실제로는 같은 객체인데 학습 과정에서 서로 다른 객체로 오인되어 성능이 저하되는 현상이다.

• •nuScenes 실제 데이터셋 기반의 객체 인식 성능 검증
• •적은 라벨 데이터(1%)로도 기존 모델을 능가하는 높은 mIoU 달성

mIoU(Mean Intersection over Union)는 객체 분할 모델의 정확도를 측정하는 대표적인 지표이다.

• •기존 모델 대비 파라미터 수를 획기적으로 줄인 경량 아키텍처 구현
• •전력 소비 효율성 측면에서 경쟁 모델 대비 압도적인 우위 입증

파라미터 수가 적을수록 모델의 크기가 작아지고 추론 속도가 빨라지며 전력 소모가 줄어든다.

• •데이터 프라이버시 보호를 위한 연합 학습 적용 가능성 논의
• •작은 객체 인식 정확도 향상을 위한 향후 연구 과제 제시

연합 학습은 데이터를 중앙 서버로 보내지 않고 각 기기에서 개별적으로 학습한 뒤 모델의 가중치만 공유하는 프라이버시 보호 학습 기법이다.