Ghost-FWL: 고스트 현상 탐지 및 제거를 위한 대규모 풀 웨이브폼 LiDAR 데이터셋

유리창이나 반사체 때문에 발생하는 가짜 점(고스트)은 자율주행차의 위치 추정이나 물체 인식에 치명적인 오류를 일으키는 고질적인 문제입니다. 이 논문은 단순 거리 정보가 아닌 빛의 반사 파형 전체를 분석하는 풀 웨이브폼 LiDAR를 활용해, 복잡한 도심 환경에서도 가짜 반사를 정확히 걸러내는 새로운 데이터셋과 AI 모델을 제시하여 자율주행의 안전성을 높입니다.

기존 LiDAR는 레이저가 돌아오는 가장 강한 신호의 시점(Peak)만 기록하여 3D 점구름을 만든다. 하지만 유리창처럼 빛이 투과하면서 동시에 반사되는 경우, 실제 존재하지 않는 위치에 점이 찍히는 고스트 현상이 발생하며 이는 단순한 기하학적 필터링으로는 구분이 어렵다. 이 논문은 점 하나가 아닌, 레이저가 돌아오는 전체 에너지 파형(Full-Waveform)에 주목한다. 파형의 모양은 반사된 물체의 재질이나 각도에 따라 미세하게 달라지는데, 이를 딥러닝으로 분석하면 해당 점이 실제 벽인지 아니면 유리창에 비친 가짜인지 물리적으로 구분할 수 있다.

특히 데이터 확보가 어려운 문제를 해결하기 위해 파형의 일부를 가리고 복원하는 Masked Autoencoder 방식을 도입했다. 이를 통해 방대한 양의 라벨 없는 데이터로도 LiDAR 신호의 물리적 특징을 스스로 학습하게 하여 탐지 정확도를 극대화했다. 결과적으로 기하학적 정보가 부족한 성긴(Sparse) 데이터 환경에서도 파형 자체의 물리적 단서를 활용해 고스트를 효과적으로 제거한다.

FPGA 모듈에 직접 접근하여 상용 LiDAR에서 버려지는 원시 파형 데이터를 추출한다. 수집된 데이터는 (H, W, T) 형태의 텐서로 변환되며, 여기서 T는 시간 축에 따른 강도 프로파일을 의미한다. 512x400 해상도의 센서에서 각 방향당 700개의 시계열 빈(bin)을 기록하며, 1ns의 시간 해상도로 최대 105m 거리까지 측정한다.

입력 파형을 공간적 패치로 나누고 70%를 무작위로 마스킹한 뒤, Transformer 인코더를 통해 특징을 추출한다. 이후 Peak Head를 통해 각 파형의 위치(p), 진폭(a), 폭(w)을 추정하도록 학습한다. [예측된 파형 속성과 실제 파형 속성을 입력으로] → [L1 손실 함수를 통한 차이 계산을 수행해] → [최종 손실 값을 얻고] → [이 숫자를 줄이는 방향으로 모델이 파형의 물리적 특성을 정확히 복원하도록 가중치를 갱신한다.]

학습된 인코더 뒤에 경량 분류 헤드를 부착하여 각 피크를 Object, Glass, Ghost, Noise 중 하나로 분류한다. [특징 벡터를 입력으로] → [두 개의 선형 레이어 연산을 수행해] → [각 클래스에 대한 확률 분포를 얻고] → [고스트 확률이 0.5 이상인 지점을 제거하여 정제된 점구름을 생성한다.] 클래스 불균형을 해소하기 위해 Focal Loss를 적용하여 소수 클래스인 고스트에 대한 학습 강도를 조절한다.

제안된 FWL-MAE 기반 모델은 기존 SOTA 모델인 MARMOT 대비 높은 재현율(Recall 0.751)과 제거율(0.918)을 기록하며 고스트 제거 성능의 우위를 입증했다. 특히 라벨링된 데이터가 적은 상황에서도 MAE 기반의 사전 학습이 성능 향상에 크게 기여함을 확인했다.

유리창이 많은 복도 환경에서 SLAM을 수행한 결과, 고스트 제거 전 대비 절대 궤적 오차(ATE)가 0.715m에서 0.245m로 약 66% 감소했다. 이는 고스트로 인해 지도가 왜곡되거나 위치 추정이 실패하는 현상을 효과적으로 방지했음을 의미한다.

3D 객체 탐지 모델(PV-RCNN) 적용 시, 유리창에 비친 사람 형태의 고스트를 실제 사람으로 오인하는 비율(Ghost FP Rate)이 67.9%에서 1.34%로 50배 이상 급감했다. 또한 Transformer 기반 구조임에도 불구하고 패치 단위 처리를 통해 32.1 FPS의 추론 속도를 확보하여 실시간 활용 가능성을 보여주었다.

전체 아키텍처는 VideoMAE에서 영감을 받은 Transformer 기반 구조를 사용한다. 입력 FWL 데이터 V는 (H, W, T) 차원을 가지며, 공간적 패치로 분할된 후 시간 축 전체가 함께 마스킹되는 방식으로 처리된다. 인코더는 6개의 Transformer 블록과 6개의 Attention Head로 구성된다.

학습 과정에서 Peak Head는 파형 내 지배적인 K개(본 논문에서는 4개)의 피크에 대한 위치, 진폭, 폭을 추정한다. 피크가 K개보다 적은 경우 0으로 패딩 처리한다. 사전 학습 단계에서는 재구성 손실(MSE)과 피크 속성 손실(L1)을 결합한 L_FWL-MAE를 최소화하도록 최적화된다.

분류 단계에서는 Focal Loss를 사용하여 데이터 불균형 문제를 해결한다. 가중치 파라미터 α는 Glass 0.25, Ghost 0.7, Object 0.05, Noise 0.0001로 설정되어 고스트 탐지 성능을 극대화한다. 추론 시에는 슬라이딩 윈도우 방식을 적용하여 메모리 제약을 극복하고 대규모 프레임을 처리한다.

현재 데이터셋은 맑은 날씨의 유리창 고스트에 집중되어 있어, 비나 안개 같은 기상 조건이나 거울, 광택 금속 등 다른 반사 재질에 대한 추가 연구가 필요하다.