Video Diffusion의 놀라운 효용성: 에고센트릭 영상에서의 4D 양손 모션 복원

에고센트릭 영상에서 손 관절이 물체에 가려지거나 화면 경계를 넘을 때 기존의 이미지 기반 검출기는 실패하기 쉬웠다. ViDiHand는 대규모로 학습된 video diffusion 백본의 내부 표현을 손에 특화해 검출기·인필러·추론 시 최적화 없이도 양손의 4D 포즈를 회수한다. 이 방식은 오클루전, 시간적 일관성, 장면·객체 문맥을 암묵적으로 학습한 생성 모델의 장점을 손 복원 문제로 직접 전용한 결과이다.

문제 출발점과 기존 한계는 다음과 같다. 에고센트릭 영상에서는 손이 물체나 다른 손에 의해 빈번하게 가려지며, 프레임별 이미지 기반 파이프라인은 검출 실패가 곧바로 3D 복원 실패로 이어진다. 반면 시퀀스 기반 방법은 보통 손 레이블이 부족한 상태에서 시간 모듈을 학습하므로 occlusion reasoning, 물체와의 상호작용, 그리고 장면 문맥을 포괄적으로 학습하기에 신호가 부족하다.

해결 원리는 대규모로 학습된 video diffusion 모델이 시공간 일관성, 3D 기하학, 가려진 콘텐츠 합성 문제를 암묵적으로 해결하도록 학습된 표현을 가진다는 관찰에서 출발한다. ViDiHand는 Wan2.1-VACE 백본의 중간 레이어(L⋆=15)와 중간 denoising 단계(τ⋆≈0.7)에서 추출한 활성화를 읽어오는 방식으로 이 표현을 활용한다. 이 활성화는 두 단계로 준비되며 Stage 1에서는 VACE 브랜치를 핸드-오버레이 렌더링으로 적응시켜 손 관련 기하학 증거를 정렬하고 Stage 2에서는 듀얼-브랜치 디코더로 MANO와 2D 앵커를 동시 회복한다.

주요 벤치마크에서 ViDiHand는 ARCTIC에 대해 FAcc 0.997, MPJPE-p 21.668 mm, EPE-p 12.407 px, Jitter 3.183 mm/frame을 기록해 표에 제시된 모든 비교 기법을 상회했다. HOT3D에서는 FAcc 0.948, MPJPE-p 21.514 mm, EPE-p 14.953 px, Jitter 3.741 mm/frame을 달성했고 held-out HOI4D에서는 FAcc 0.984, MPJPE-p 30.090 mm, EPE-p 24.460 px, Jitter 4.010 mm/frame을 기록했다. 추가적으로 제거식(ablation) 실험에서 중간 레이어 L15와 denoising step τ≈0.7 조합이 모든 메트릭에서 최적에 가까운 성능을 보였고, Joint-Heatmap Branch를 제거하면 EPE-p가 +2.98 px, MPJPE-p가 +1.61 mm 악화되며 mixed-projection 해법을 비활성화하면 EPE-p가 +4.33 px 악화되는 수치적 근거가 보고되었다.

전체 아키텍처는 Wan2.1-VACE 백본(1.3B 파라미터 규모)과 그 위에 학습된 dual-branch hand decoder로 구성된다. 파이프라인은 VACE 브랜치만 Stage 1에서 핸드-오버레이 렌더링으로 파인튜닝하고 base DiT는 고정해 장면·모션 프라이어를 유지하며, 디코더는 중간 레이어 L⋆=15의 활성화와 τ⋆≈0.7의 denoising 단계 출력을 입력으로 받는다. 디코더 내부에서는 각 latent frame을 projection으로 디코더 폭 h로 맞추고 공간·시간·ray-space positional encoding을 더해 시공간 토큰을 만든 다음 hand-token과 joint-heatmap 브랜치로 분기한다.

논문이 명시한 한계는 두 가지이다. 첫째, 추론 속도가 4개의 A100 GPU에서 약 5.5 fps로 논문 구현은 오프라인 주석 생성에 주로 적합하다. 둘째, Stage 1b의 mesh-overlay 적응 단계는 MANO로 라벨링된 비디오를 필요로 하며 이 요구를 완전히 제거하기 위해서는 추가적인 self-supervised pretext나 객체·전신 상호작용 확장이 필요하다.