엣지 배포를 위한 다중 카메라 인원 탐지 및 추적 시스템 구축기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Jetson Orin Nano 환경에서 YOLOv8n과 TensorRT FP16 최적화를 활용해 10ms 이하의 지연 시간을 갖는 다중 카메라 객체 추적 시스템을 구현했다.

배경

Jetson Orin Nano 하드웨어에서 YOLOv8n 모델을 활용해 실시간 인원 탐지 및 추적 시스템을 구축한 경험과 최적화 수치를 공유하기 위해 작성됐다.

의미 / 영향

엣지 컴퓨팅 환경에서 실시간 다중 객체 추적을 구현할 때, 하드웨어 특성에 맞춘 정밀도 최적화(FP16)와 경량화된 외형 분석 기법의 조합이 성능 병목을 해결하는 핵심임을 시사한다.

커뮤니티 반응

작성자가 공유한 구체적인 성능 수치와 구현 방식에 대해 긍정적인 반응이며, 특히 INT8 양자화와 FP16 간의 성능 및 정확도 트레이드오프에 대한 논의가 이루어졌다.

주요 논점

01중립소수

인원 탐지 작업에서 Orin Nano 하드웨어 기준 INT8 양자화가 FP16 대비 정확도 손실을 감수할 만큼의 성능 이득이 있는지 의문을 제기했다.

합의점 vs 논쟁점

합의점

YOLOv8n 모델의 TensorRT FP16 변환이 엣지 기기에서 실시간 성능을 확보하는 효율적인 방법이다.
단순 IoU 기반 추적보다 외형 정보를 결합한 방식이 객체 가려짐 상황에서 더 안정적이다.

논쟁점

특정 엣지 하드웨어에서 INT8 양자화 시 발생하는 mAP(평균 정밀도) 하락 폭과 실제 추론 속도 향상분 사이의 실익 비교

실용적 조언

Jetson 환경에서 TensorRT export 시 HALF_PRECISION=true 환경 변수를 설정하여 FP16 최적화를 활성화하라.
연산 자원이 부족할 경우 DeepSORT의 대안으로 가벼운 HSV 히스토그램 기반 Re-ID를 검토하라.

섹션별 상세

Jetson Orin Nano 환경에서 YOLOv8n 모델을 TensorRT .engine 형식으로 내보내어 최적화를 진행했다. 640x640 입력 해상도에서 FP16 정밀도를 적용했을 때 프레임당 10ms 미만의 추론 지연 시간을 달성했다. 이는 24fps 파이프라인을 안정적으로 구동하면서도 추적 및 데이터 융합을 위한 충분한 연산 여유를 확보한 수치이다.

객체 추적을 위해 Hungarian 할당 알고리즘과 외형 재식별(Re-ID) 모델을 결합한 하이브리드 방식을 채택했다. IoU와 HSV 기술자의 코사인 유사도를 0.6 대 0.4 비율로 조합한 비용 함수를 사용하며, DeepSORT(MobileNet)를 주력으로 사용하되 성능 부하에 따라 Centroid 방식으로 전환되는 폴백 체인을 구성했다. HSV 히스토그램 기반의 외형 분석은 탐지당 0.1ms 수준으로 매우 빠르게 작동한다.

다중 카메라 뷰 통합을 위해 6개 상태 변수를 가진 칼만 필터와 지면 호모그래피 변환을 활용했다. 측정 노이즈 R 값을 탐지 신뢰도, 바운딩 박스 크기, 센서 신뢰도에 따라 동적으로 조정하여 예측 정확도를 높였다. 또한 카메라 간 지면 좌표를 일치시키는 자가 교정 호모그래피를 통해 여러 시점의 데이터를 하나의 월드 모델로 통합했다.

용어 해설

TensorRT: — NVIDIA에서 개발한 고성능 딥러닝 추론 최적화 엔진이다. 학습된 모델을 특정 하드웨어에 최적화된 엔진 파일로 변환하여 지연 시간을 최소화하고 처리량을 극대화하는 역할을 한다.
FP16: — 데이터를 16비트로 표현하는 수치 형식이다. 32비트(FP32) 대비 메모리 사용량을 절반으로 줄이고 연산 속도를 높이면서도, 양자화(INT8)보다 모델의 정확도 손실을 최소화할 수 있다.
Kalman Filter: — 노이즈가 포함된 측정치를 바탕으로 객체의 상태를 예측하고 업데이트하는 재귀적 필터이다. 이 시스템에서는 위치와 속도를 포함한 6개 상태 변수를 추적하여 객체의 이동 경로를 안정적으로 예측한다.
Homography: — 한 평면을 다른 평면에 투영하는 기하학적 변환 행렬이다. 여러 카메라 뷰에서 감지된 객체를 공통된 지면 좌표계로 변환하여 다중 카메라 간 객체 위치를 통합하는 데 사용된다.

언급된 도구

YOLOv8n추천

객체 탐지 (인원 클래스 필터링)

TensorRT추천

추론 가속 및 최적화 엔진

DeepSORT중립

객체 추적 (MobileNet 기반)

언급된 리소스

GitHubOverwatch GitHub Repository