자율주행을 위한 LiDAR와 카메라 센서 퓨전 정렬 가이드

섹션별 상세

01

카메라는 풍부한 시각적 맥락을 제공하고 LiDAR는 정밀한 깊이 정보를 제공하여 상호 보완한다. 두 센서를 결합하면 단일 센서의 한계를 극복하고 객체 탐지의 강건성을 높일 수 있다.

02

카메라와 LiDAR를 동일 좌표계로 맞추기 위해 외부 파라미터(extrinsic parameters)를 추정한다. 타겟 기반 방식이나 타겟 없는(targetless) 방식을 사용하여 센서 간 상대적 위치와 방향을 보정한다.

03

LiDAR와 카메라는 서로 다른 주기로 작동하므로 데이터 수집 시점을 일치시켜야 한다. 하드웨어 클록 공유나 소프트웨어 기반의 타임스탬프 보간을 통해 움직이는 객체의 위치 불일치를 방지한다.

04

3D LiDAR 포인트를 2D 이미지 평면에 투영하여 기하학적 정보와 시각적 정보를 연결한다. 정렬 오류는 객체 경계면이나 배경에서 즉각 드러나므로, 이를 지속적으로 검증하여 데이터셋의 품질을 확보한다.

05

2D 바운딩 박스와 3D 큐보이드가 서로 일치하도록 다중 모달 환경에서 동시에 주석을 수행한다. 가려짐(occlusion)이 있는 장면에서도 두 모달리티 간의 라벨 일관성을 유지하여 모델 학습 데이터의 신뢰도를 높인다.