챕터별 상세
00:00
솔루션 영감 및 기본 아이디어
DETR(Detection Transformer) 아키텍처에서 영감을 받아 비디오 인코더와 Transformer 디코더를 결합한 엔드투엔드 모델을 설계했다. 비디오 인코더는 TSM이나 2D+3D CNN을 사용하여 영상의 특징을 추출하고, Transformer 디코더는 이 특징들과 여러 선수의 트래킹 데이터를 결합한다. 기존의 많은 솔루션이 선수 쌍(Pair) 단위로 예측하는 것과 달리, 특정 선수 한 명을 중심으로 주변 선수들과의 관계를 예측하는 방식을 채택했다.
03:35
모델 아키텍처 상세 구조
Sideline과 Endzone 두 방향의 비디오 프레임을 입력으로 받아 비디오 인코더를 통해 특징 맵을 생성했다. 각 타임스텝별로 추출된 특징에 위치 인코딩(Position Encoding)과 프레임 번호 인코딩을 추가하여 시간적, 공간적 정보를 보존했다. Transformer 인코더는 비디오 특징을 쿼리하고, 셀프 어텐션(Self-Attention) 메커니즘을 통해 모든 타임스텝과 선수들 간의 관계를 학습했다. 최종적으로 활성화된 특징들을 결합하여 현재 선수의 지면 접촉 여부와 주변 선수들과의 접촉 여부를 동시에 예측했다.
06:01
피처 엔지니어링 및 선택
헬멧의 위치 정보, 팀 정보, 현재 선수와의 거리, 선수의 역할(Role) 등 다양한 트래킹 데이터를 모델의 입력 피처로 사용했다. 특히 2개 타임스텝에 걸친 속도와 가속도, 선수들 간의 상대적 방향 정보를 포함하여 동적인 움직임을 반영했다. Transformer 모델이 이러한 피처들에 과적합(Overfitting)되기 쉬우므로, 성능 향상에 실질적으로 기여하는 핵심 피처들만 신중하게 선택하여 구성했다.
07:29
학습 방법 및 검증 전략
단일 단계(Single-stage) 엔드투엔드 학습 방식을 사용하여 학습 과정을 단순화했다. 여러 모델의 예측값을 평균 내는 단순 앙상블 기법을 적용하여 성능을 안정화했다. 검증을 위해 게임 ID별로 그룹화된 4-폴드 교차 검증(4-fold Cross-Validation)을 수행했으며, 게임 이름순으로 정렬하여 미래의 게임에 대한 일반화 성능을 테스트했다. 폴드 간 성능 차이가 크게 나타나는 현상을 확인했으며, 이는 데이터셋의 노이즈와 일반화의 어려움을 시사했다.
09:04
헬멧 추적 오류 수정 및 광학 흐름 적용
기본 제공된 헬멧과 선수 매칭 데이터의 오류를 수정하기 위해 카메라 뷰와 트래킹 데이터 간의 원근 투영(Perspective Projection)을 계산했다. RANSAC 회귀를 사용하여 프레임 간의 부드러운 변화를 유도하고 잘못 매칭된 쌍을 재할당했다. 또한 Optical Flow 모델을 학습시켜 카메라의 움직임을 예측하고, 이를 투영 행렬의 연속성 제약 조건으로 활용했다. 이 과정을 통해 시각적으로 거의 모든 할당 오류를 해결했으며, 검증 점수에서 최대 0.5%의 성능 향상을 확인했다.
용어 해설
- 데트르(DETR)
- — Detection Transformer의 약자로, 객체 탐지 작업을 위해 Transformer 아키텍처를 엔드투엔드로 적용한 모델이다. 기존의 복잡한 수작업 구성 요소 없이 직접적인 집합 예측을 수행하여 효율성을 높였다.
- 시계열 이동 모듈(TSM)
- — Temporal Shift Module의 약자로, 비디오 인식에서 추가적인 연산 비용 없이 시간적 정보를 모델링하기 위해 채널의 일부를 시간 축으로 이동시키는 기법이다. 2D CNN의 효율성과 3D CNN의 성능을 동시에 확보할 수 있다.
- 센서 퓨전(Sensor Fusion)
- — 서로 다른 소스(예: 비디오 영상과 GPS 트래킹 데이터)에서 얻은 데이터를 결합하여 단일 소스보다 더 정확하고 신뢰할 수 있는 정보를 생성하는 기술이다. 이 대회에서는 영상 내 시각 정보와 선수의 위치 데이터를 결합하는 데 사용되었다.
- 광학 흐름(Optical Flow)
- — 연속된 비디오 프레임 사이에서 물체나 카메라의 움직임으로 인해 발생하는 픽셀의 겉보기 이동 패턴을 계산하는 기법이다. 카메라의 움직임을 보정하거나 물체의 궤적을 추적하는 데 필수적이다.
- 교차 검증(Cross-Validation)
- — 데이터셋을 여러 개로 나누어 모델을 학습시키고 검증함으로써 모델의 일반화 성능을 평가하는 통계적 방법이다. 데이터의 편향을 줄이고 리더보드 점수와의 상관관계를 높이는 데 중요하다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 25.수집 2026. 02. 25.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.