CANOE 멀티모달 USV 데이터셋 공개

커뮤니티는 실제 운영 환경에서 수집된 멀티센서 로그와 바로 실험 가능한 fiftyone 파싱에 긍정적인 반응을 보였다. 특히 수면 환경의 특수성 때문에 기존 자율주행 데이터셋과 다른 문제들을 연구할 수 있다는 점을 높게 평가했다. 동시에 레이더·라이다·소나의 동기화와 소나가 제공하는 수중 데이터의 처리 방법에 대한 실무적 질문과 우려도 함께 제기되었다.

• 연구 시작 시 원시 로그를 fiftyone 멀티모달 형식으로 파싱해 센서별 타임라인을 먼저 확인하고, 레이더·라이다 클럭 불일치 문제를 해결할 동기화 모듈을 먼저 도입할 것을 권한다. 그다음 라이다를 카메라 프레임으로 투영해 정합성 높은 구간과 실패 구간을 분리하고, 실패 구간을 중심으로 센서별 노이즈 모델을 추정해 전처리 파라미터를 튜닝해야 한다. 마지막으로 소나 데이터는 카메라 기반 방법으로는 검증이 불가능하므로 별도 처리 파이프라인을 두고 다른 센서와의 상보성을 평가하는 실험을 설계할 것을 권한다.
• Hugging Face 데모에서 빠르게 시각화해 문제 지점을 찾은 뒤 로컬에서 전체 로그를 내려받아 재현 실험을 수행하는 워크플로우가 효율적이다. 초기 실험은 작은 구간에서 동기화·투영 파이프라인을 검증하고 점차 전체 시퀀스로 확장해야 리소스 사용을 줄일 수 있다. 실험 결과는 라이다-카메라 정합률, 레이더 탐지 정밀도, 소나 유효성 같은 정량 지표를 정의해 비교하면 재현성과 해석 가능성이 높아진다.

CANOE 데이터셋(CANOE)

— CANOE는 UTIAS에서 호수와 저수지 위에서 수집한 멀티센서 USV 데이터셋으로, 360° 레이더, 128-beam 라이다, 스테레오 카메라, 소나, GPS/INS 동기화된 ground truth를 포함한다. 센서 간 시계 불일치와 서로 볼 수 없는 영역(예: 소나가 감지하는 수중 정보) 같은 멀티모달 문제를 연구할 때 입력·프로세스·출력을 결합해 실험에 바로 활용할 수 있다.

무인수상정(USV)(USV)

— USV는 무인수상정으로서 수면 환경에서 자율주행·감지 알고리즘을 검증하는 플랫폼을 말한다. 수평면 위에서 레이더·라이다·카메라·소나 같은 이질적 센서를 장착해 센서 융합과 위치추정 문제를 입력으로 받아 처리 과정을 평가하고 결과를 제공하는 실험 장치로 활용된다.

라이다(lidar)(lidar)

— 라이다는 128-beam과 같이 다중 빔을 사용하는 거리 측정 센서로서 점군(point cloud)을 출력한다. CANOE에서는 라이다를 카메라 프레임으로 투영해 카메라와의 정합성을 검사하거나, 레이더·소나와의 상호보완성을 비교하는 입력 자료로 활용한다.

fiftyone 멀티모달(fiftyone)

— fiftyone은 데이터셋 시각화와 검증을 위한 라이브러리로, CANOE 데이터셋을 fiftyone 멀티모달 형식으로 파싱하면 센서별 스트림을 하나의 동기화된 뷰에서 탐색할 수 있다. 이를 통해 라이다 포인트클라우드를 카메라 이미지로 직접 투영하고 불일치 구간을 빠르게 식별하는 워크플로우를 구현할 수 있다.