HumanCLAW: VLM의 신체 행동 평가 프레임워크

왜 중요한가

실제 물리적 결과를 동반하는 장기 행동 과업에서는 의사결정과 운동 제어가 얽혀 실패 원인이 불명확해질 수 있습니다. HumanCLAW는 의사결정자(흔히 VLM)가 내린 선택을 원자적 스킬로 분리하고 모션 생성기와 half-physics 시뮬레이터로 실행해 모터 실패 요인을 분리합니다. 이로써 시각 인식 능력과는 별개로 모델의 '행동 지능'과 '화신적 자기 인식'을 정량적으로 측정할 수 있어, VLM을 장기 물리적 과업에 적용하려는 연구와 시스템 설계에 실용적 진단 수단을 제공합니다.

핵심 기여

결정과 실행을 분리한 행동 지능 평가 프레임워크

HumanCLAW는 오프더쉘프 VLM을 stepwise한 원자적 스킬 호출로 감싼 뒤, 각 호출을 0.5초 분량의 전신 모션으로 변환하고 half-physics 시뮬레이터로 물리적 결과를 적용합니다. 이 설계는 균형 상실 같은 저수준 모터 실패를 평가에서 배제하면서도 충돌·중력·물체 이동 등 현실적 상호작용을 보존합니다. 그 결과 실패는 주로 의사결정 수준의 오류로 귀속되어 VLM의 행동 지능을 직접적으로 측정할 수 있습니다.

스킬-조건화 모션 생성기와 플러그앤플레이 어댑터

Motion DiT를 모션 베이스로 사용하고 각 원자 스킬마다 zero-init ControlNet 스타일 어댑터를 붙이는 구조를 택했습니다. 베이스는 동역학적 연속성을 제공하고 어댑터는 스킬 의미론에 맞춰 출력을 조정해 zero-shot 수준에서 예측 가능한 지역적 동작을 만듭니다. 이런 분리로 새로운 스킬을 추가할 때 베이스를 건드리지 않고 어댑터만 학습하면 되므로 확장성과 안정성이 확보됩니다.

대규모 장기 에피소드 벤치마크와 진단 지표

HumanCLAW-Bench는 41개 주택에서 생성한 1,218개의 egocentric find-navigate-interact 에피소드를 제공하며 거리·선택지 수·장애물 밀도로 난이도 층위를 나눕니다. 단계적 성공률(FindSR/NavSR/InteractSR), 충돌 빈도, 움직임 jerk, 환경 교란량 같은 다각적 지표를 도입해 단순 성공률 외에 행동의 연속성·신체 인지·물리적 피해를 함께 측정합니다. 이 벤치로 VLM들이 인식은 잘해도 신체 상태 추적에서 큰 약점을 드러냈습니다.

핵심 아이디어 이해하기

VLM은 시각적 이해와 공간 언어 추론에서 강점을 보이지만, 사람이 된 것처럼 연속적 전신 동작을 즉시 텍스트로 출력하기는 불가능합니다. HumanCLAW는 의사결정자는 원자적 스킬과 그 파라미터만 선택하게 하고, 그 선택을 Motion DiT 기반 모션 생성기가 0.5초 분량의 자연스러운 전신 동작으로 실현한 뒤 half-physics 시뮬레이터가 물리적 결과를 적용하는 입력→처리→출력 루프를 유지합니다. 이렇게 하면 각 스텝의 결정(choice)과 그 물리적 결말(outcome)을 짝지어 실패 원인을 의사결정 수준으로 귀속할 수 있고, '화신적 자기 인식'처럼 신체 상태 추적 능력을 직접 측정할 수 있습니다.

방법론

매 타임스텝에서 VLM은 현재 egocentric RGB 관찰과 최근 의사결정·상태 히스토리를 입력받아 형식화된 시각 상태(가시 대상, 좌우 위치, 거리, 주변 장애물 등)를 출력하도록 유도됩니다. 이어서 고수준 의도→중간 목표(수초 단위)→저수준 원자 스킬의 순서로 추론을 유도하고, 제안된 스킬은 스킬별 단기 컨텍스트 검증기(verifier)가 받아들일지 거부할지를 판단합니다. 승인된 스킬 호출은 JSON 인터페이스로 Motion DiT에 전달되어 5프레임 역사 조건에서 15프레임(0.5s) 미래 속도장을 예측하고, 해당 모션을 half-physics 시뮬레이터가 적용해 다음 관찰을 반환합니다. 스킬 제어는 각 스킬별 ControlNet 어댑터로 담당하며, 어댑터는 베이스를 고정한 채 zero-init 잔류로 학습되어 plug-and-play로 확장됩니다.

주요 결과

HumanCLAW-Bench의 1,218개 에피소드에서 평가한 결과 최상위 VLM의 전체 성공률은 16.8%에 불과했습니다. 시각적 목표 인식 자체는 객관적 가시성 기준과 비교했을 때 상위 모델이 5퍼센트포인트 이내로 근접했으나, 목표를 본 뒤 목적지 도달 여부·자기 신체 위치 추적·충돌 감지 등 '본 이후의 판단'에서 큰 실패가 집중되었습니다. 행동의 연속성 지표인 jerk나 충돌 빈도, 환경 교란 횟수에서도 VLM이 스킬을 조율해 물리적 상호작용을 안정적으로 관리하지 못하는 경향이 관찰되었습니다.

기술 상세

모션 베이스는 20×d(20×219) 토큰을 입력으로 받는 38M 파라미터, 10층 DiT이며 8-헤드 self-attention을 사용한다고 기술되어 있습니다. 학습은 flow-matching 목표로 진행되며 베이스는 clean history 5프레임과 미래 15프레임을 사용해 훈련됩니다. 스킬 제어는 각 스킬마다 복사한 DiT 블록과 스킬-조건 인코더를 포함한 어댑터를 학습시키되 W_ℓ을 0으로 초기화하여 베이스는 동결합니다. 어댑터별 학습은 AdamW, 학습률 3×10^{-4}, 배치 2048, 5×10^{5}~1.5×10^{6} 스텝 범위를 사용합니다. 시뮬레이션은 AI Habitat 기반에서 Bullet 엔진을 사용하고, 생성된 포즈 시퀀스를 동등한 관절 속도로 변환해 120Hz로 구동하며 수동적 관절 강성 λ=1.0을 채택해 균형 실패를 평가에서 배제합니다.

한계점

평가 결과는 VLM의 인식 능력보다 신체 상태 추적에서 주된 약점을 드러냅니다만, 이 진단은 HumanCLAW의 설계 선택에 의해 영향받습니다. 하프-피직스는 저수준 모터 실패를 대부분 배제하므로 실제 동적 토크 기반 제어기를 포함한 완전 동역학적 설정에서 발생할 수 있는 균형·추적 문제는 여기서 측정되지 않습니다. 또한 스킬 어댑터 학습은 AMASS 기반 클립 선별에 의존하므로 데이터 편향과 어댑터 큐레이션의 한계가 결과에 영향을 줄 수 있습니다.

실무 활용

HumanCLAW는 VLM을 실제 물리적 과업에 적용하려는 연구자나 시스템 설계자에게 진단용 벤치와 모듈형 구현을 제공합니다. 결정과 모션 생성, 시뮬레이션을 분리해 어느 모듈이 병목인지 명확히 하므로, 예컨대 모션 생성만 개선하거나 VLM의 자기-신체 추적 능력만 보완하는 식의 집중적 연구가 가능합니다. 벤치는 장기 에피소드와 단계적 성공 지표로 현실적 난이도를 반영합니다.

VLM의 '행동 지능' 및 화신적 자기 인식 능력 진단용 벤치마크로 사용
스킬-조건화 모션 생성기와 half-physics 시뮬을 분리하여 모듈별 개선 방향 평가
로봇이나 시뮬레이션 기반 에이전트의 행동 정책 연구에서 의사결정과 저수준 제어 분리 실험

코드 공개 여부: 공개

코드 저장소 보기

키워드

Vision-Language ModelVLMHumanCLAWHumanCLAW-BenchMotion DiTControlNethalf-physicsegocentric

용어 해설

하프-피직스 시뮬레이션(half-physics simulation): — 신체의 저수준 모터 제어는 추상화하면서도 충돌, 중력, 물체 이동 같은 물리적 상호작용은 유지하는 시뮬레이션 설계로, 균형 상실 같은 모터 실패를 평가 대상에서 배제하고 행동 결정의 물리적 결과만 측정합니다.
스킬-조건 모션 생성기(skill-conditioned motion generator): — VLM이 지시한 원자적 스킬 이름과 연속 파라미터를 입력으로 받아 0.5초 분량의 사람 전신 포즈 연속체를 생성하는 모듈로, Motion DiT 기반의 베이스와 각 스킬별 ControlNet 어댑터로 구현되어 있습니다.
원자적 스킬(atomic skill): — 의미가 중첩되지 않는 최소 단위의 동작 명세로서 예컨대 walk(x,z,ψ), turn_in_place(θ), sit_in_place(h)처럼 텍스트·JSON로 고정된 인터페이스를 갖고 VLM이 이들을 순차적으로 조합해 장기 과업을 달성하도록 한 설계입니다.
화신적 자기 인식(embodied self-awareness): — 자기 신체의 현재 상태와 최근 동작의 물리적 결과를 연속적으로 추적하는 능력으로, 논문에서는 목표에 도달했는지, 신체가 어디에 있는지, 충돌이나 장애물이 생겼는지를 판단하는 모델 능력으로 규정합니다.

코드 예제

text

skill call: <skill_name>(<parameters>)  e.g., walk(x,z,ψ)  -> JSON: {"skill":"walk","params":{"x":0.3,"z":0.0,"psi":0.0}}

VLM이 매 스텝 출력하는 구조화된 액션 인터페이스 예시로, 원자적 스킬 이름과 연속 파라미터를 JSON 형태로 전달해 모션 생성기로 연결하는 입력 포맷을 보여줍니다.