엣지 배포를 위한 다중 카메라 인원 탐지 및 추적 시스템 구축기

실용적 조언

Jetson 환경에서 TensorRT export 시 HALF_PRECISION=true 환경 변수를 설정하여 FP16 최적화를 활성화하라.
연산 자원이 부족할 경우 DeepSORT의 대안으로 가벼운 HSV 히스토그램 기반 Re-ID를 검토하라.

섹션별 상세

Jetson Orin Nano 환경에서 YOLOv8n 모델을 TensorRT .engine 형식으로 내보내어 최적화를 진행했다. 640x640 입력 해상도에서 FP16 정밀도를 적용했을 때 프레임당 10ms 미만의 추론 지연 시간을 달성했다. 이는 24fps 파이프라인을 안정적으로 구동하면서도 추적 및 데이터 융합을 위한 충분한 연산 여유를 확보한 수치이다.

객체 추적을 위해 Hungarian 할당 알고리즘과 외형 재식별(Re-ID) 모델을 결합한 하이브리드 방식을 채택했다. IoU와 HSV 기술자의 코사인 유사도를 0.6 대 0.4 비율로 조합한 비용 함수를 사용하며, DeepSORT(MobileNet)를 주력으로 사용하되 성능 부하에 따라 Centroid 방식으로 전환되는 폴백 체인을 구성했다. HSV 히스토그램 기반의 외형 분석은 탐지당 0.1ms 수준으로 매우 빠르게 작동한다.

다중 카메라 뷰 통합을 위해 6개 상태 변수를 가진 칼만 필터와 지면 호모그래피 변환을 활용했다. 측정 노이즈 R 값을 탐지 신뢰도, 바운딩 박스 크기, 센서 신뢰도에 따라 동적으로 조정하여 예측 정확도를 높였다. 또한 카메라 간 지면 좌표를 일치시키는 자가 교정 호모그래피를 통해 여러 시점의 데이터를 하나의 월드 모델로 통합했다.

용어 해설

텐서RT(TensorRT): — NVIDIA에서 개발한 고성능 딥러닝 추론 최적화 엔진이다. 학습된 모델을 특정 하드웨어에 최적화된 엔진 파일로 변환하여 지연 시간을 최소화하고 처리량을 극대화하는 역할을 한다.
반정밀도 부동소수점(FP16): — 데이터를 16비트로 표현하는 수치 형식이다. 32비트(FP32) 대비 메모리 사용량을 절반으로 줄이고 연산 속도를 높이면서도, 양자화(INT8)보다 모델의 정확도 손실을 최소화할 수 있다.
칼만 필터(Kalman Filter): — 노이즈가 포함된 측정치를 바탕으로 객체의 상태를 예측하고 업데이트하는 재귀적 필터이다. 이 시스템에서는 위치와 속도를 포함한 6개 상태 변수를 추적하여 객체의 이동 경로를 안정적으로 예측한다.
호모그래피(Homography): — 한 평면을 다른 평면에 투영하는 기하학적 변환 행렬이다. 여러 카메라 뷰에서 감지된 객체를 공통된 지면 좌표계로 변환하여 다중 카메라 간 객체 위치를 통합하는 데 사용된다.

언급된 도구

YOLOv8n추천

객체 탐지 (인원 클래스 필터링)

TensorRT추천

추론 가속 및 최적화 엔진

DeepSORT중립

객체 추적 (MobileNet 기반)

언급된 리소스

GitHubOverwatch GitHub Repository