TL;DR

Fast SAM 3D Body는 SAM 3D Body의 추론 경로를 파이프라인 수준에서 재설계해 멀티크롭을 병렬화하고 아키텍처 인식 pruning을 적용함으로써 end-to-end 추론을 최대 10.9배 빠르게 한다. 반복적 MHR→SMPL 피팅을 경량 feedforward MLP로 대체해 해당 변환을 약 10,000배 가속하고, 선택적 TensorRT 엔진 변환으로 단일 RGB에서 약 65 ms/frame 실시간 워크플로를 달성한다. 결과물은 LSPET 등 일부 벤치마크에서 원본을 능가하며 Unitree G1 텔레오퍼레이션 데모와 정책 수집 사례로 실전 적용성을 보이고 있다.

핵심 포인트

• 원본 대비 end-to-end 최대 10.9배 가속을 목표로 파이프라인 재설계를 시도한 점이 핵심 차별점으로, 멀티크롭 병렬화와 디코더 단순화라는 두 축으로 속도 개선을 달성한다. 이러한 구조적 변형은 학습을 필요로 하지 않는 접근을 택해 원모델의 가중치는 그대로 재활용하도록 구성되어 있다. 따라서 연구 성능을 유지하면서 실무적 레이턴시 요구를 충족시키는 균형을 맞춘 구현이라 실전 배포에 유리하다.
• MHR에서 SMPL로의 전통적 반복 피팅을 제거하고 훈련 없는 경량 MLP 매핑으로 대체해 해당 변환을 10,000배 이상 가속한 점이 실제 제어·데이터 수집 워크플로에서 직접적인 이점을 제공한다. 이 접근은 반복적 최적화가 병목인 환경, 예컨대 텔레오퍼레이션 실시간 루프에서 특히 가치가 크다. 비교 대상인 원본 파이프라인과 달리 변환 지연이 사라지므로 downstream 제어 주기와 긴밀히 동기화할 수 있다.
• TensorRT 변환 스크립트와 run_demo.sh 같은 즉시 실행 가능한 도구를 함께 배포해 연구결과 재현과 실전 데모 연결이 용이하도록 준비되어 있다. 선택적 엔진 빌드를 통해 사용자가 성능과 이식성 요구에 따라 최적화 레벨을 선택할 수 있게 한 점이 실무 친화적이다. 다만 TensorRT 의존 경로는 NVIDIA 하드웨어와 엔진 빌드 시간을 요구하므로 환경 제약이 존재한다.
• 원본 SAM 3D Body의 추론 경로를 아키텍처 인식 pruning과 병렬 멀티크롭 특징 추출로 재구성해 전체 처리 파이프라인 병목을 줄인다.

벤치마크

이미지 분석