TT4D: 단안 비디오로부터의 탁구 4D 재구성 파이프라인 및 데이터셋

일반 중계 영상만으로 탁구공의 3D 위치, 스핀, 선수의 움직임을 정밀하게 복원하는 기술을 제시한다. 기존의 한계를 극복한 Lift-First 접근법을 통해 가림 현상이 심한 상황에서도 물리적으로 타당한 데이터를 대규모로 생성할 수 있어 스포츠 분석과 로봇 학습에 기여한다.

기존의 스포츠 영상 분석은 '먼저 공을 치는 순간을 찾고(2D 분할), 그 짧은 구간을 3D로 변환(Lifting)'하는 순서를 따랐다. 하지만 탁구공은 너무 작고 빨라 선수 몸에 가려지는 경우가 많아 2D 영상만으로는 분할 지점을 정확히 찾기 어렵다는 근본적인 문제가 있었다.

이 논문은 이 순서를 뒤집어 '전체 2D 궤적을 일단 3D 공간으로 들어 올린(Lift-First) 후, 3D 공간에서 물리 법칙을 이용해 분할 지점을 찾는' 방식을 제안한다. 3D 공간에서는 공의 가속도와 궤적이 물리적으로 명확해지므로 가려진 구간도 더 정확하게 추정할 수 있다는 점에 착안했다.

이를 위해 Transformer 아키텍처를 활용하여 시퀀스 전체의 맥락을 파악한다. Attention 메커니즘이 가려진 프레임 전후의 공 움직임을 참조하여 누락된 위치를 임베딩 공간에서 보간하고, 최종적으로 물리적으로 매끄러운 3D 궤적과 공의 회전(Spin)까지 복원해낸다. 결과적으로 데이터 생성의 자동화 수준을 획기적으로 높여 대규모 고품질 데이터셋 구축을 가능하게 했다.

전체 파이프라인은 데이터 획득, 3D 리프팅, 도메인 주석 생성, 필터링의 4단계로 구성된다. 핵심인 Full-Sequence Lifting Network는 Transformer 기반으로 설계되어 2D 공 검출 좌표와 카메라 파라미터 정보를 입력받아 3D 좌표와 스핀 벡터를 출력한다.

수학적 모델링 측면에서 공의 비행 궤적은 ma = -kd||v||v + km(ω x v) + g 라는 상미분방정식(ODE)으로 정의된다. [공의 질량과 가속도를 입력으로] → [항력, 마그누스 효과에 의한 힘, 중력을 합산하여] → [순간적인 힘의 변화량을 얻고] → [이를 통해 다음 프레임의 속도와 위치를 예측한다].

학습을 위해 MuJoCo 물리 엔진을 사용하여 300만 개의 가상 랠리 데이터를 생성했다. 특히 'Stitching' 알고리즘을 도입하여 서브부터 리턴까지 이어지는 연속적인 궤적을 합성했으며, Masked Token Modeling 기법을 적용해 실제 영상에서 빈번한 공 검출 누락 상황을 모델이 스스로 복구하도록 학습시켰다.

TT4D 데이터셋은 45,946개의 경기에서 추출된 211,534개의 포인트와 146시간의 플레이 타임을 포함한다. 이는 기존 SOTA 데이터셋인 LATTE-MV(26시간) 대비 약 5.6배 큰 규모이다.

재구성 정밀도 면에서 제안된 Full-Sequence 방식은 기존의 단일 세그먼트 처리 방식 대비 3D 궤적 오차(Δr3D)를 21.71cm에서 18.95cm로 약 12.7% 감소시켰다. 특히 가림 현상이 심한 상황을 가정한 실험(Missing Detections)에서도 3.50px 수준의 낮은 2D 재투영 오차를 유지하며 강건함을 보였다.

물리적 타당성 검증 결과, 재구성된 궤적의 90% 이상이 물리 법칙(ODE)과 10cm 이내의 오차로 일치했다. 또한 생성형 모델인 Flow Matching을 통해 학습된 랠리 데이터는 실제 경기와 유사한 타구 간격 분포와 물리적 궤적 특성을 재현하는 데 성공했다.

네트워크 아키텍처는 6개의 Attention Head와 6개의 레이어를 가진 DiT(Diffusion Transformer) 스타일 구조를 채택했다. 입력 단계에서 Disentangled Context Embedding(DCE)을 사용하여 공의 위치 정보와 카메라 파라미터 정보를 분리하여 처리함으로써 모델의 일반화 성능을 높였다.

가변적인 프레임 레이트와 누락된 검출을 처리하기 위해 Rotary Positional Embedding(RoPE)과 Interpolation Token을 사용한다. 특히 Deferred Upsampling Token Attention(DUTA) 메커니즘을 통해 유효한 검출 정보가 누락된 토큰에 의해 오염되는 것을 방지하면서도 주변 맥락 정보를 효과적으로 집계하도록 설계했다.

라켓 상태 추정은 역제어 문제(Inverse Control Problem)로 정형화하여 해결한다. 타구 전후의 공 속도와 스핀 변화를 바탕으로 라켓의 충격량(Impulse)을 계산하고, 이를 통해 라켓의 3D 포즈와 속도를 산출한다. 이 과정은 CasADi 최적화 프레임워크와 IPOPT 솔버를 사용하여 비선형 최적화 문제를 해결함으로써 수행된다.

서브 전 공을 던지는 동작(Pre-serve ball toss) 구간은 궤적이 불규칙하여 클리핑 및 재구성이 여전히 어려운 단계로 명시되었다. 또한 라켓의 물리적 특성(반발 계수 등)을 고정값으로 가정하고 있어, 실제 다양한 라켓 종류에 따른 미세한 차이를 완벽히 반영하지 못할 수 있다.