실시간 미식축구 분석: RF-DETR 및 ByteTrack을 활용한 선수 추적 시스템 구축

섹션별 상세

01

전통적인 수동 비디오 분석 방식은 작업자의 피로도와 지연 시간 문제로 인해 실시간 하이라이트 제작에 한계가 있었습니다. 컴퓨터 비전 기반의 자동화 시스템을 도입하면 경기장 전체를 디지털 정밀도로 모니터링하여 놓치는 순간 없이 데이터를 수집할 수 있습니다. 이를 통해 방송 제작 효율성을 높이고 시청자에게 더 풍부한 분석 데이터를 제공하는 기반이 마련됩니다.

02

실시간 처리를 위해 트랜스포머 기반의 RF-DETR Small 모델을 탐지 엔진으로 선택하여 밀리초 단위의 빠른 추론 속도를 확보했습니다. 이 모델은 매개변수 수가 적어 NVIDIA Jetson과 같은 엣지 하드웨어에도 배포가 가능하며 경기장 현장에서 직접 연산을 수행할 수 있습니다. 결과적으로 중계 피드와 분석 데이터 사이의 시차를 최소화하여 실시간 서비스 구현을 가능하게 합니다.

Roboflow 플랫폼 내에서 RF-DETR 및 YOLOv11 등 다양한 모델 아키텍처를 선택하는 화면입니다. — Screenshot실시간 처리를 위해 추천되는 RF-DETR 모델의 특징(빠른 속도, COCO 데이터셋에서의 높은 정확도)을 설명하며 모델 크기를 선택하는 과정을 보여줍니다. 이는 사용자가 프로젝트 목적에 맞는 최적의 모델을 선택하는 단계를 시각화합니다.

03

경기 중 발생하는 격렬한 움직임과 조명 변화에 대응하기 위해 수평 뒤집기, 채도 및 밝기 조절, 100px 수준의 모션 블러 증강 기법을 적용했습니다. 이러한 데이터 증강은 모델이 태양광 눈부심이나 빠른 카메라 팬 동작 상황에서도 선수를 정확히 인식하도록 훈련시킵니다. 실제 테스트 결과 mAP@50 74.8%와 정밀도 90.8%를 달성하여 오탐지를 최소화하는 성과를 보였습니다.

모델의 성능을 평가하는 Production Metrics Explorer 차트입니다. — Chart신뢰도 임계값(Confidence Threshold) 변화에 따른 Precision, Recall, F1 Score의 변화 곡선을 보여줍니다. 최적의 임계값인 59%에서 F1 Score 77.9%를 달성했음을 시각적으로 증명합니다.

04

탐지된 객체에 지속적인 ID를 부여하기 위해 ByteTrack 블록을 연결하여 선수들의 이동 경로를 추적하고 정체성을 유지합니다. ByteTrack은 이전 프레임의 모션 벡터를 활용하여 선수가 다른 선수에게 가려지거나 일시적으로 프레임을 벗어나도 위치를 예측하여 추적을 이어갑니다. 이 과정은 단순한 위치 파악을 넘어 경기 전체의 흐름을 이해하는 데이터 구조를 생성합니다.

05

최종 워크플로는 탐지, 추적, 시각화 블록을 체인 형태로 연결하여 원본 영상에 경계 상자, 트랙 ID, 이동 궤적(Trace)을 실시간으로 합성합니다. 시각화 블록은 ByteTrack에서 전달받은 ID 정보를 바탕으로 각 선수 뒤에 이동 경로를 그려주어 전술 분석에 용이한 결과물을 출력합니다. 완성된 파이프라인은 원본 비디오를 검색 가능한 메타데이터가 포함된 지능형 영상 스트림으로 변환합니다.

미식축구 경기 영상에서 실시간으로 선수들을 탐지하고 이동 경로를 추적하는 시각화 결과물입니다. — Screenshot각 선수에게 고유 ID 번호가 부여된 보라색 경계 상자가 표시되며, 선수들의 과거 이동 경로가 선으로 그려져 있습니다. 이는 RF-DETR 탐지와 ByteTrack 추적이 결합되어 실시간으로 선수들의 움직임을 분석하고 있음을 보여줍니다.

Roboflow Workflows에서 구축된 전체 추적 파이프라인의 노드 구성도입니다. — Diagram입력 영상이 객체 탐지 모델(RF-DETR)을 거쳐 Byte Tracker로 전달되고, 이후 여러 시각화 블록을 통과하여 최종 출력되는 데이터 흐름을 보여줍니다. 각 블록 간의 연결 관계를 통해 전체 시스템 아키텍처를 한눈에 이해할 수 있습니다.

용어 해설

객체 탐지(Object Detection): — 이미지나 비디오 내에서 특정 객체의 위치를 식별하고 분류하는 컴퓨터 비전 기술입니다. 이 아티클에서는 미식축구 선수들을 개별적으로 찾아내어 경계 상자(Bounding Box)를 그리는 핵심 단계로 사용됩니다.
트랜스포머(Transformer): — 어텐션 메커니즘을 사용하여 데이터의 맥락적 관계를 파악하는 딥러닝 아키텍처입니다. 본문에서 사용된 RF-DETR 모델의 기반 기술로, 높은 정확도와 실시간 처리에 적합한 성능을 제공합니다.
평균 정밀도 (IoU 0.5)(mAP@50): — 객체 탐지 모델의 성능을 측정하는 지표로, 예측 상자와 실제 상자의 겹침 정도(IoU)가 50% 이상일 때 정답으로 간주하여 계산한 평균 정밀도입니다. 모델의 탐지 정확성을 수치화하는 데 사용됩니다.
데이터 증강(Data Augmentation): — 기존 학습 데이터를 변형하여 데이터셋의 규모와 다양성을 인위적으로 늘리는 기법입니다. 수평 뒤집기, 밝기 조절 등을 통해 모델이 다양한 경기장 환경과 카메라 각도에서도 강인하게 작동하도록 돕습니다.
추론(Inference): — 학습된 모델을 실제 데이터에 적용하여 결과를 도출하는 과정입니다. 스포츠 중계와 같은 실시간 환경에서는 지연 시간을 최소화하는 고속 추론 능력이 시스템의 성패를 결정짓는 핵심 요소가 됩니다.

기술

RF-DETR
ByteTrack
Roboflow Workflows
Roboflow Universe
NVIDIA Jetson

활용 사례

실시간 선수 이동 경로 추적
자동 하이라이트 생성 시스템
스포츠 전술 분석 메타데이터 구축

언급된 리소스

문서American Football Dataset on Roboflow Universe

실시간 미식축구 분석: RF-DETR 및 ByteTrack을 활용한 선수 추적 시스템 구축

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

실시간 축구 경기용 컴퓨터 비전 파이프라인

RF-DETR로 농구 슛을 판정하는 법

작은 공의 흐림을 추적 신호로 바꾼 설계

RF-DETR과 McByteTracker로 차량 추적