상호작용형 인간 동작 생성을 위한 하이브리드 표현과 자기회귀 확산 모델 ARDY

실시간 상호작용을 필요로 하는 애니메이션과 로보틱스에서는 텍스트 지시와 장기 공간 목표를 동시에 만족하면서도 낮은 지연으로 모션을 생성하는 것이 핵심이다. ARDY는 루트의 전역 제어성과 바디의 저차원 잠재 표현을 결합함으로써 정밀한 경로 추종과 효율적 생성 학습을 동시에 실현했다. 결과적으로 복잡한 문장 지시와 수초 단위의 장기 목표를 온라인 환경에서 반응적으로 처리할 수 있게 했다.

문제의 출발점은 실시간 상호작용 환경에서 텍스트 지시와 공간적 키네마틱 제약을 동시에 만족시켜야 한다는 점이다. 기존의 오프라인 확산 모델은 복잡한 제어를 제공하지만 반복적이고 많은 디노이징 단계 때문에 인터랙티브한 응답성을 얻기 어렵다. 반대로 기존의 자기회귀 온라인 방법은 속도는 확보하지만 길게 이어지는 텍스트 의미와 장기 목표를 처리할 충분한 컨텍스트를 유지하지 못해 제어성이나 의미적 일관성이 떨어진다.

ARDY는 두 가지 주요 구성으로 접근했다. 첫째는 바디 모션을 토크나이저로 패치화하여 저차원 잠재 임베딩으로 압축하고 루트는 전역 좌표의 명시적 피처로 유지하는 하이브리드 표현을 설계한 점이다. 이 설계는 루트 경로 같은 전역 제약을 직접 덮어쓰기로 강제할 수 있게 하며 바디는 저차원 토큰으로 효율적으로 생성 가능하게 한다.

정량 실험에서 ARDY는 HumanML3D 및 자체 처리된 데이터셋에서 텍스트 정합성(R-precision)과 분포적 유사도(FID) 측면에서 경쟁력 있는 결과를 보였고 풋 스케이팅 비율을 낮게 유지했다. 자가회귀 비교 대상인 DiP와의 비교에서는 장기(out-of-horizon) 제약 설정에서도 관절 오차가 크게 증가하지 않아 긴 문맥 처리 능력이 우수함이 확인됐다. 인간 주관평가에서는 모션 품질과 의미 일치성, 목표 정확도에서 참가자들이 ARDY를 일관되게 선호했다.

전체 아키텍처는 하이브리드 토큰 시퀀스를 입력으로 받는 자기회귀 트랜스포머 기반 디노이저와 토크나이저 오토인코더로 구성된다. 토크나이저는 패치 크기 P=4 프레임을 사용하며 인코더와 디코더 모두 8층의 causal transformer 블록을 사용해 인코딩과 재구성을 수행한다. 디노이저는 루트용 트랜스포머와 바디용 트랜스포머로 분리된 두 분기로 구성되며 각 분기는 8개 레이어, 8개 헤드, 잠재 차원 1024를 사용한다.

논문에서 명시한 주요 한계로는 첫째, 현재 구현은 과거 모든 프레임을 히스토리로 입력하는 방식이라 매우 장기 과제를 처리할 때 비효율적이다. 둘째, 확산 기반 설계의 다중 디노이징 단계는 계산 비용을 증가시키며 더 많은 단계는 지연을 키운다. 셋째, 모델은 순수 키네마틱 모델로 물리적 동력학을 모형화하지 않아 때때로 풋 스케이팅이나 진동과 같은 물리적 비현실성이 관찰될 수 있다.