ArtHOI: 손-관절 객체 상호작용의 단안 4D 재구성을 위한 파운데이션 모델 활용 프레임워크

왜 중요한가

기존에는 가위나 노트북처럼 움직이는 부품이 있는 물체를 3D로 복원하려면 미리 물체를 정밀 스캔하거나 여러 대의 카메라가 필요했다. 이 논문은 최신 AI 모델들을 조합해 일반 동영상만으로도 물체의 실제 크기와 관절 움직임, 손가락의 접촉 지점까지 정확하게 계산해낸다. 이는 로봇의 물체 조작 학습이나 증강 현실(AR) 기술의 정밀도를 높이는 데 크게 기여한다.

핵심 기여

ArtHOI 프레임워크 제안

단일 RGB 비디오에서 사전 스캔된 템플릿 없이도 손과 관절 객체의 4D 상호작용을 복원하는 최적화 기반 프레임워크를 구축했다.

Adaptive Sampling Refinement (ASR) 도입

파운데이션 모델이 생성한 정규화된 메시를 실제 세계 좌표계에 맞추기 위해 객체의 미터법 스케일과 6-DoF 포즈를 반복적으로 최적화하는 기법을 개발했다.

MLLM 가이드 기반 손-객체 정렬

Qwen-VL Max와 같은 멀티모달 언어 모델을 활용해 프레임별 접촉 상태를 추론하고, 이를 물리적 제약 조건으로 사용하여 손과 객체 메시의 정렬 정확도를 향상시켰다.

신규 벤치마크 데이터셋 공개

ArtHOI-RGBD 및 인터넷 영상을 포함한 ArtHOI-Wild 데이터셋을 구축하여 다양한 환경에서의 성능 검증을 가능하게 했다.

핵심 아이디어 이해하기

기존의 3D 복원 기술은 주로 형태가 변하지 않는 고정된 물체에 집중되어 왔다. 하지만 우리가 일상에서 사용하는 가위나 스테이플러는 관절이 있어 형태가 변하므로, 단순히 위치를 찾는 것을 넘어 각 부품의 상대적 움직임과 실제 크기(Metric scale)를 알아내는 것이 필수적이다. ArtHOI는 이 문제를 해결하기 위해 '기초 개념을 갖춘 여러 AI 모델들의 협업'이라는 아이디어를 채택했다.

먼저 HunYuan3D와 같은 모델로 물체의 기본 형태를 잡고, CoTracker로 부품의 움직임을 추적하며, Qwen-VL 같은 MLLM으로 '지금 검지 손가락이 가위 손잡이에 닿아 있는가?'와 같은 논리적 정보를 추출한다. 하지만 각 모델의 예측값은 서로 단위가 다르거나 물리적으로 어긋날 수 있다는 한계가 있다.

ArtHOI는 ASR(Adaptive Sampling Refinement) 기법을 통해 이 불일치를 해결한다. 모델이 가상으로 만든 3D 모델을 실제 영상 속 깊이 정보와 대조하며 여러 크기 후보를 샘플링하고, 실제 마스크와 가장 잘 겹치는 값을 찾아낸다. 이를 통해 가상의 모델을 실제 물리 공간에 정확히 안착시키고, MLLM이 알려준 접촉 지점을 기준으로 손과 물체가 공중에 뜨거나 겹치지 않도록 정밀하게 조립한다.

방법론

ArtHOI 파이프라인은 전처리, 객체 메시 생성, 부품별 운동 복원, 손-객체 정렬의 4단계로 구성된다. 전처리 단계에서는 SAM 2로 손과 객체 마스크를 추출하고, Video-Depth-Anything으로 미터법 깊이를 추정한다. 손에 가려진 객체 영역은 DiffuEraser로 인페인팅하여 온전한 객체 이미지를 확보한 뒤 HunYuan3D를 통해 정규화된 3D 메시를 생성한다.

Adaptive Sampling Refinement (ASR) 단계에서는 객체의 실제 크기 $s^o_c$ 와 포즈 $T^o_c$ 를 결정한다. [역투영된 깊이 맵의 바운딩 박스 비율을 입력으로] → [거친 스케일을 계산하고 주변 범위를 적응적으로 샘플링하여] → [렌더링된 실루엣과 실제 마스크 간의 IoU를 최대화하는] → [최적의 미터법 스케일과 세계 좌표계 포즈를 얻는다].

부품별 운동 복원에서는 CoTracker를 사용하여 각 부품의 2D 궤적을 추출하고 이를 3D로 투영한다. [추출된 3D 궤적과 가시성 정보를 입력으로] → [시간에 따른 각 부품의 SE(3) 변환 행렬을 최적화하여] → [관절의 움직임을 복원한다]. 마지막으로 MLLM이 판단한 접촉 손가락 정보를 바탕으로 Contact loss를 계산하여 손가락 끝이 객체 표면에 밀착되도록 손의 포즈를 미세 조정한다.

주요 결과

ArtHOI-RGBD 데이터셋 실험 결과, 사전 스캔 정보를 사용하는 기존 SOTA 모델인 RSRD보다 우수한 성능을 보였다. 특히 CD Drive 객체 재구성에서 Chamfer Distance(CD)를 282.33mm에서 3.334mm로 획기적으로 줄였으며, F5 점수(5mm 오차 이내 비율)는 78.75%를 기록했다.

RSRD 데이터셋에서도 객체 템플릿 없이도 템플릿을 사용하는 방식보다 높은 정확도를 기록했다. 가위(Scissor) 항목에서 F5 점수 61.81을 기록하며 RSRD(1.20)를 크게 앞질렀다. 이는 파운데이션 모델의 기하학적 사전 지식이 실제 스캔 데이터만큼 강력할 수 있음을 시사한다.

Ablation study를 통해 MLLM 기반 접촉 추론의 효과를 검증했다. MLLM을 사용하지 않았을 때보다 Collision-Contact( $Co^2$ ) 점수가 ArtHOI-Wild 데이터셋 기준 0.059에서 0.039로 개선되어, 물리적으로 더 타당한 손-객체 정렬이 이루어짐을 확인했다.

기술 상세

ArtHOI는 최적화 기반 프레임워크로, 여러 파운데이션 모델의 출력을 통합할 때 발생하는 스케일 불일치와 물리적 비현실성을 해결하는 데 초점을 맞춘다. 아키텍처는 HunYuan3D(형태), Video-Depth-Anything(깊이), CoTracker(운동), Qwen-VL Max(의미적 접촉)를 유기적으로 결합한다.

ASR 알고리즘은 FoundationPose를 내부 루프로 사용하여 포즈 가설을 생성하며, IoU 기반 피드백을 통해 샘플링 범위를 동적으로 확장하거나 축소하며 수렴 속도와 정확도를 동시에 잡는다. 이는 노이즈가 섞인 깊이 추정값과 생성된 메시 사이의 기하학적 모순을 완화하는 역할을 한다.

MLLM 프롬프팅 전략은 3단계(시점 감지, 손 매핑, 프레임별 접촉 추론)로 설계되었다. 특히 1인칭(Egocentric)과 3인칭(Exocentric) 시점을 먼저 구분하여 좌우 손 식별 오류를 방지하고, 인접 프레임을 함께 입력하여 시간적 일관성을 확보한다. 추출된 JSON 형식의 접촉 정보는 최적화 과정에서 미분 가능한 손실 함수로 변환되어 MANO 모델의 파라미터를 정교하게 조정한다.

한계점

논문은 MLLM이 간혹 근접한 상태를 실제 접촉으로 오판하는 False Positive 사례가 발생할 수 있음을 언급하며, 이를 방지하기 위해 보수적인 판단을 유도하는 프롬프트를 사용했으나 여전히 완벽하지 않을 수 있음을 시사한다.

실무 활용

단일 카메라 영상만으로 복잡한 도구 조작 과정을 정밀한 4D 디지털 트윈으로 복제할 수 있어 로봇 공학 및 콘텐츠 산업에서 활용도가 높다.

로봇의 도구 조작(가위질, 스테이플러 사용 등) 모방 학습을 위한 데이터 생성
AR/VR 환경에서 사용자의 손과 가상 객체 간의 정밀한 상호작용 구현
유튜브 등 인터넷 영상으로부터 인간의 정교한 손 동작 스킬 추출 및 분석

코드 공개 여부: 공개

코드 저장소 보기

키워드

HOI(손-객체 상호작용)4D Reconstruction(4D 재구성)Foundation Model(파운데이션 모델)Articulated Object(관절 객체)MLLM(멀티모달 거대 언어 모델)

용어 해설

4D 재구성(4D Reconstruction): — 3D 공간 정보에 시간(Time) 축을 더해 물체의 형태와 움직임을 시계열적으로 복원하는 기술이다. 단순히 정적인 3D 모델을 만드는 것을 넘어, 시간에 따른 관절의 굴절이나 위치 변화를 모두 포함하므로 동적인 상호작용 분석에 필수적이다.
관절 객체(Articulated Object): — 가위, 노트북, 스테이플러와 같이 여러 부품이 힌지나 관절로 연결되어 부품 간 상대적인 움직임이 가능한 물체를 의미한다. 고정된 형태의 강체(Rigid object)보다 자유도가 높아 복원 난이도가 매우 높다.
멀티모달 거대 언어 모델(MLLM): — 텍스트뿐만 아니라 이미지나 비디오 정보를 함께 입력받아 이해하고 추론할 수 있는 AI 모델이다. 본 논문에서는 영상 속 손가락이 물체의 어느 부분에 닿아 있는지와 같은 고차원적인 논리적 판단을 수행하는 데 사용된다.
SE(3) 변환(SE(3) Transformation): — 3차원 공간에서 물체의 회전(Rotation)과 평행 이동(Translation)을 동시에 나타내는 수학적 표현이다. 6자유도(6-DoF)를 가지며, 물체의 각 부품이 시간에 따라 어디로 어떻게 움직였는지 정의하는 기본 단위가 된다.

코드 예제

python

def adaptive_sampling_refinement(G_o, D_c, M_o, K, J, delta):
    s_coarse = coarse_scale_estimation(G_o, D_c, M_o)
    L_best = -float('inf')
    for j in range(1, J + 1):
        if j_best < j / 2:
            delta *= 2 # Adaptively expand the range
        s_hat = s_coarse * random_sample(-delta, delta)
        G_hat = scale(G_o, s_hat)
        T_hat = foundation_pose(G_hat, I_c, D_c, M_o, K)
        M_hat = render_silhouette(T_hat * G_hat, K)
        L_iou = calculate_iou(M_hat, M_o)
        if L_iou > L_best:
            s_final, T_final = s_hat, T_hat
            L_best, j_best = L_iou, j
    return s_final, T_final

객체의 미터법 스케일과 포즈를 최적화하는 Adaptive Sampling Refinement(ASR) 알고리즘의 핵심 로직

ArtHOI: 손-관절 객체 상호작용의 단안 4D 재구성을 위한 파운데이션 모델 활용 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

코드 예제

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드