본문으로 건너뛰기
r/computervision조회 2

실시간 Shahed-136 탐지의 후속으로 구현한 Kalman 기반 다중 센서 퓨전 추적기와 OOSM 재생

카메라와 저주파 RF를 Kalman 필터로 융합하고 CA 모델·OOSM 재생·센서별 공분산을 적용해 추적 RMSE를 카메라 단독 5.47px에서 융합 3.36px로 낮춤

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

실전 Shahed-136 추적 작업에서 상수 속도 모델이 급선회나 가림에서 실패하는 문제를 확인하고 상태벡터를 가속도 항까지 확장한 CA 모델로 전환했으며 서로 다른 노이즈·레이트 특성을 가진 카메라(30Hz)와 RF(5Hz)를 플러그형으로 융합하는 구조를 도입했다. 느린 센서의 시계열 외 도착 관측치는 체크포인트 기반의 리와인드·리플레이로 시간 순서를 보장해 처리했고 예측 함수는 시간 지평선에 따라 1-σ 불확실성 타원을 계산해 신뢰도 저하를 시각화한다. 통제된 드롭아웃 실험에서 카메라 단독 RMSE 5.47px, RF 단독 14.06px에 비해 융합 3.36px을 달성했고 Anti-UAV410 열화상에서는 정상 비행 시 서브-3px RMSE를 관측했다. 구현 코드는 GitHub에 공개되어 있으며 OOSM 재생 로직과 공분산 튜닝이 핵심 실무 포인트로 확인되었다.

실용적 조언

  • 빠른 회전이나 기동성이 높은 목표를 추적할 때는 상태벡터에 가속도 항을 추가한 CA 모델을 사용하여 예측 단계에서 궤적 곡률을 반영할 것을 권장한다.
  • 서로 다른 샘플링 레이트와 노이즈 특성을 가진 센서를 융합할 때는 센서별로 측정 공분산을 설정하여 각 센서의 관측 신뢰도를 필터 수식에 반영해야 한다.
  • 느린 센서가 시간적으로 뒤늦게 도착할 가능성이 있으면 주기적 체크포인트와 리와인드·리플레이를 구현해 시간 순서대로 재실행하는 전략을 적용해야 추적 일관성을 유지할 수 있다.
  • 미래 궤적을 예측할 때는 공분산 전파로 1-σ 불확실성 타원을 계산하여 재획득 가능성과 안전 마진을 시각적으로 판단하는 도구로 활용할 것을 권장한다.

섹션별 상세

01
원래 사용하던 상수 속도(CV) Kalman 필터는 직선 주행에서는 안정적이었으나 급선회나 가림 현상이 발생하면 속도·방향 변화에 적응하지 못해 트랙이 이탈했다는 문제 제기가 있었다. 상태공간을 [x,y,vx,vy,ax,ay]로 확장하는 상수 가속도(CA) 모델을 적용하면 예측 단계에서 가속도 항으로 궤적 곡률을 반영하여 급격한 선회에 대해 업데이트가 덜 지연된다. 글에서는 CA 모델로 전환한 후 실제 시나리오에서 드리프트가 줄어든 경험을 근거로 제시했고 이 방식은 기동성 높은 목표를 더 잘 따라가도록 설계되었다. 결과적으로 필터는 선회 시 과도 예측을 줄이고 관측 업데이트에서 더 적합한 보정을 산출했다.
02
카메라 단일 입력에서 다중 센서를 연결하는 구조로 확장하면서 플러그형 외부 측정 함수(add_external_measurement())를 도입했다는 점이 핵심이었다. 이 구조는 카메라처럼 고주파 저노이즈 센서와 RF처럼 저주파 고노이즈 센서를 동일 필터에 공급하되 센서별로 측정 공분산과 샘플링 레이트를 달리 반영하는 방식을 사용한다. 글에서는 카메라 30Hz 대 RF 5Hz의 예를 들며 일괄 공분산이 아니라 센서별 공분산을 적용해야 성능을 유지한다고 서술했다. 실무적 의미로는 서로 다른 시간 해상도와 노이즈 특성을 가진 센서들을 단일 추적 파이프라인에 안정적으로 합류시킬 수 있게 된다.
03
느린 센서에서 도착한 관측치가 이미 필터가 시간 진척을 한 이후에 도착하는 OOSM 문제는 단순 병합으로는 해결되지 않아서 체크포인트 기반의 리와인드 앤 리플레이(rewind-and-replay) 기법을 구현했다는 기술적 설명이 있었다. 구현 방식은 필터가 일정 시간마다 상태를 체크포인트로 저장하고, 늦게 도착한 관측이 들어오면 해당 시점으로 리와인드한 뒤 그 이후의 모든 예측·관측 순서를 시간 순으로 재적용하는 방식이다. 글에서는 이 접근이 가장 까다로운 부분이었다고 밝히며 재생이 없으면 느린 센서의 값이 필터 오차를 키운다고 기술했다. 따라서 비동기 다중 센서 환경에서 시간 순서 보존은 필수적이라는 결론이 도출된다.
04
미래 궤적 예측 함수(predict_trajectory(horizon_s))는 시간 지평선에 따라 1-σ 불확실성 타원을 함께 성장시키는 방식으로 구현되어 필터의 신뢰도 저하를 시각적으로 확인할 수 있게 했다. 입력으로는 현재 상태와 공분산이 들어오고 예측 단계에서 프로세스 노이즈를 적분하여 시간이 지남에 따른 공분산 확장을 계산한 뒤 위치 신뢰구간을 타원으로 도출한다. 글에서는 이 시각화가 재획득 가능성과 추적 실패 지점을 직관적으로 파악하는 데 유용했다고 밝혔으며 데모에서 시각적으로 타원 크기가 커지는 것을 확인했다고 한다. 운영상으로는 충돌 회피·경보 임계값 설정·재획득 전략 판별에 활용할 수 있다.
추적 궤적과 시간 지평선에 따른 불확실성 타원이 오버레이된 시각화이다.
Screenshot이미지는 예측 단계에서 공분산을 전파하여 생성한 1-σ 불확실성 타원과 실제 관측 기반 추적 궤적을 동시에 보여준다. 타원 크기가 시간에 따라 확장되는 패턴이 시각적으로 확인되며 이는 predict_trajectory(horizon_s) 함수의 공분산 성장 결과와 일치한다. 이 시각화는 재획득 가능성과 추적 신뢰도 변화를 판단하는 근거로 사용되었다는 점에서 정보 전달 가치가 높다.
05
성능 검증으로 통제된 드롭아웃 시나리오와 Anti-UAV410 열화상 데이터에서 비교 실험을 보고했는데 카메라 단독은 RMSE 5.47px, RF 단독은 14.06px, 두 센서 융합은 3.36px을 기록했고 정상 비행에서는 Anti-UAV410 상에서 서브-3px RMSE를 얻었다고 명시했다. 또한 탐지기는 미세조정한 YOLOv8s로 shahed 클래스에 대해 mAP@50 99.5%를 기록했다고 본문이 명시되어 검증 지표가 수치로 제공되었다. 이 수치들은 CA 모델·센서별 공분산·OOSM 재생의 조합이 실전 데이터에서 의미 있는 개선을 가져왔음을 뒷받침한다.
각 센서별 추적 결과와 드롭아웃 시나리오에서 융합 성능을 비교한 그래프 또는 궤적 플롯이다.
Screenshot이 사진은 제어된 드롭아웃 실험에서 카메라 단독, RF 단독, 두 센서 융합의 궤적 오차 차이를 시각화한 것으로 보인다. 본문에 언급된 RMSE 수치(카메라 5.47px, RF 14.06px, 융합 3.36px)와 대응되는 비교 결과를 전달하며 융합의 이점과 RF의 단점이 동시에 드러난다. 때문에 실험적 성능 비교 근거로서 유효한 정보가 포함되어 있다.

용어 해설

상수 가속도 모델(Constant-Acceleration Model)
상태벡터에 위치와 속도뿐 아니라 가속도 항을 포함하는 필터 모델로서 입력 관측값에 대해 가속도 변화를 통해 선회나 속도 변화에 빠르게 적응한다. 이 모델은 상태 예측 단계에서 가속도 항을 이용해 궤적 곡률을 반영하고 측정 업데이트에서 가속도 불확실성을 공분산으로 반영한다. 단일 센서의 일정한 속도 가정이 깨지는 상황에서 관측값 과도치를 줄여 추적 정확도를 향상시킨다.
시계열 외 도착 관측치(Out-of-Sequence Measurement (OOSM))
느린 센서나 네트워크 지연으로 인해 필터가 이미 시간 진척을 한 이후에 도착하는 관측치로서 단순 적용 시 상태 불일치와 발산을 유발한다. OOSM은 체크포인트 기반의 리와인드 및 재실행 방식이나 특수한 비동기 업데이트 함수를 통해 처리하며 올바른 시간 순서로 재적용해야 동등한 결과가 나온다. 실무적으로는 체크포인트 주기, 재생 오버헤드, 관측 공분산 설계가 핵심 튜닝 요소다.
관측 공분산(Measurement Covariance)
각 센서 관측의 잡음 크기와 상관관계를 수치화한 공분산 행렬로서 필터의 칼만 게인 계산에 직접 영향을 준다. 센서별로 주파수와 노이즈 특성이 다르면 단일 공분산으로 묶는 대신 센서별 공분산을 사용해 업데이트의 신뢰도를 조정한다. 적절한 공분산 추정은 노이즈가 큰 저주파 센서의 관측을 과대평가하거나 빠른 센서의 정보를 과소평가하는 문제를 방지한다.
불확실성 타원(Uncertainty Ellipse)
상태 추정의 공분산 행렬을 2차원 투영하여 신뢰구간을 타원으로 시각화한 것으로서 시간에 따라 확산되는 불확실성을 직관적으로 보여준다. 예측 단계에서 시간 지평선에 따라 1-σ 또는 다른 신뢰수준의 타원을 그려 미래 궤적의 분산 확대를 관찰할 수 있다. 추적 재획득이나 충돌 회피 같은 응용에서 타원 크기는 경계 조건 및 안전 마진 산정에 사용된다.

언급된 도구

YOLOv8s추천

실시간 객체 탐지기(shahed 클래스에 대해 미세조정된 모델)

Kalman Filter추천

연속 상태 추정 및 다중 센서 융합을 위한 베이즈 필터

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 07. 12.수집 2026. 07. 12.출처 타입 REDDIT

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.