컴퓨터 비전을 활용한 셀프 호스팅 피트니스 트래커 구축기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

RTMPose와 MotionAGFormer를 활용하여 멀티뷰 카메라 기반의 3D 운동 자세 분석 및 횟수 측정 시스템을 구축한 사례이다.

배경

파킨슨병 관리를 위한 운동이 필수적인 작성자가 카메라를 통해 자동으로 운동 횟수를 측정하고 자세를 교정받기 위해 직접 3D 피트니스 트래킹 시스템을 개발했다.

의미 / 영향

이 프로젝트는 개인 개발자가 오픈소스 모델과 LLM의 도움을 받아 복잡한 3D 컴퓨터 비전 시스템을 구축할 수 있음을 입증했다. 실무적으로는 멀티뷰 시스템에서 하드웨어 동기화와 캘리브레이션이 알고리즘 선택만큼이나 전체 성능에 결정적인 영향을 미친다는 점을 시사한다.

커뮤니티 반응

작성자의 기술적 도전과 결과물에 대해 긍정적인 반응이 많으며, 특히 멀티뷰 동기화와 캘리브레이션 문제에 대한 깊은 공감이 형성되었다.

주요 논점

01중립다수

멀티뷰 시스템에서 카메라 동기화와 캘리브레이션은 알고리즘 구현보다 더 까다로운 물리적 문제이다.

합의점 vs 논쟁점

합의점

저가형 IP 카메라는 타임스탬프 부재로 인해 실시간 3D 재구성에 부적합하다.
RTMPose는 실시간 포즈 추정에서 매우 강력한 성능을 보여준다.

논쟁점

2D에서 3D로 리프팅하는 방식과 직접적인 3D 스테레오 매칭 중 어느 것이 노이즈 환경에서 더 안정적인지에 대한 논의가 있다.

실용적 조언

카메라를 90도 회전하여 설치할 경우 캘리브레이션 소프트웨어와의 호환성 문제를 사전에 체크해야 한다.
정밀한 동기화가 필요한 경우 Basler와 같은 산업용 카메라 사용을 권장한다.

섹션별 상세

작성자는 멀티뷰 카메라 설정을 위해 Charuco 보드를 사용한 캘리브레이션 과정에서 큰 기술적 난관에 부딪혔다. 수직 해상도를 높이기 위해 카메라를 90도 회전시켰으나, 이로 인해 투영 및 재투영 오류가 발생하여 3D 퓨전이 제대로 작동하지 않는 결과를 초래했다. 저가형 IP 카메라는 타임스탬프 동기화 기능이 부족하여 프레임 간 일치성을 확보하는 데 한계가 있었으며, 결국 앵커 스트림과 보조 뷰를 혼합한 하이브리드 멀티뷰 방식을 통해 이를 해결했다.

포즈 추정 모델로 133개의 키포인트를 감지하는 RTMPose를 선택하고, 2D 좌표를 3D로 변환하기 위해 MotionAGFormer를 도입했다. 입력된 영상 스트림에서 신체 각 부위의 좌표를 추출한 뒤 이를 3D 공간으로 리프팅하여 실시간 모델을 생성하는 방식으로 작동한다. 이 시스템은 단순한 관절 위치 파악을 넘어 얼굴 인식과 손동작 추적까지 포함하여 정밀한 운동 데이터를 수집하며, SQLite를 활용하여 개별 반복 횟수와 운동 품질 데이터를 로깅한다.

하드웨어 구성은 초기 NVIDIA Tesla P4에서 시작하여 현재는 AMD 서버와 NVIDIA A2 조합으로 업그레이드되었다. 실시간 3D 처리를 위해 높은 대역폭과 연산 성능이 필요했으며, 산업용 Basler 4K 카메라를 메인 사이드 뷰로 사용하여 화질과 안정성을 확보했다. RTMP 스트림 대신 산업용 카메라를 도입함으로써 동기화 문제를 일부 완화하고 추론 지연 시간을 단축했으며, 음성 코칭 기능과 YAML 기반의 운동 정의 시스템을 통해 사용자 경험을 개선했다.

실무 Takeaway

멀티뷰 3D 재구성을 위해서는 카메라 간의 정밀한 시간 동기화와 캘리브레이션이 필수적이며, 저가형 IP 카메라보다는 산업용 카메라가 시스템 안정성에 유리하다.
RTMPose와 MotionAGFormer의 조합은 2D 영상에서 고정밀 3D 포즈 데이터를 추출하여 실시간 피드백을 제공하는 데 효과적인 파이프라인이다.
상태 머신 기반의 횟수 측정 방식은 구현이 간단하지만, 복잡한 운동 패턴을 정확히 인식하기 위해서는 더 고도화된 위상 감지 알고리즘이 요구된다.

언급된 도구

RTMPose추천

2D 실시간 포즈 추정 (133 키포인트)

MotionAGFormer추천

2D 포즈 데이터를 3D로 변환 (Lifting)

Basler 4K추천

산업용 메인 카메라 (사이드 뷰)

NVIDIA A2추천

실시간 추론 및 3D 렌더링 가속

SQLite중립

운동 데이터 및 로그 저장