CoInteract: 공간 구조적 공동 생성을 통한 물리적으로 일관된 인간-객체 상호작용 비디오 합성

기존 비디오 생성 모델은 손가락이 뭉개지거나 물체가 몸을 뚫고 지나가는 등 물리적 일관성이 부족한 문제가 있었다. CoInteract는 Diffusion Transformer 내부에 인간의 구조적 정보와 상호작용 기하학 제약 조건을 직접 통합하여, 추가적인 연산 비용 없이도 매우 사실적인 상호작용 비디오를 생성한다.

기존의 비디오 확산 모델은 순수하게 픽셀 수준의 RGB 데이터만 학습하기 때문에 3D 공간에서의 인간과 객체 간의 거리감이나 신체 구조에 대한 이해가 부족하다. 이로 인해 손가락이 물체 안으로 파고들거나 형태가 무너지는 '구조적 붕괴' 현상이 빈번하게 발생한다. CoInteract는 이러한 한계를 극복하기 위해 모델이 단순히 픽셀을 보는 것을 넘어 상호작용의 기하학적 구조를 이해하도록 설계되었다.

핵심 아이디어는 Diffusion Transformer(DiT)의 내부 연산 과정에 인간의 신체 구조 정보를 직접 심는 것이다. 이를 위해 모델 학습 시 실제 영상(RGB)과 함께 해당 영상의 구조적 뼈대(HOI structure)를 동시에 생성하도록 유도한다. 이 과정에서 모델의 가중치는 픽셀의 색상뿐만 아니라 물체와 손의 경계, 신체의 실루엣과 같은 물리적 제약 조건을 함께 학습하게 된다.

결과적으로 CoInteract는 별도의 후처리나 복잡한 전처리 없이도 손가락의 움직임이 정확하고 물체와의 접촉이 자연스러운 영상을 만들어낸다. 특히 추론 단계에서는 구조 정보를 생성하는 보조 브랜치를 떼어내고 학습된 지능이 내재화된 RGB 생성 경로만 사용하므로, 기존 모델과 동일한 속도로 훨씬 더 정교한 상호작용 영상을 얻을 수 있다.

CoInteract는 DiT(Diffusion Transformer) 백본을 기반으로 하며, 두 가지 핵심 모듈인 Human-Aware MoE와 Spatially-Structured Co-Generation을 통합한다. 전체 프레임워크는 인물 참조 이미지, 제품 참조 이미지, 텍스트 프롬프트, 음성 오디오를 입력받아 최종 비디오를 생성한다.

Human-Aware MoE는 얼굴과 손의 바운딩 박스 정보를 감독 신호로 사용하여 토큰을 라우팅한다. 각 토큰 xᵢ에 대해 Softmax(W_g · sg[hᵢ])를 계산하여 전문가 선택 확률을 구하고, 해당 영역(Head, Hand, Base)에 특화된 FFN(Feed-Forward Network)으로 전달한다. 이는 모델이 해부학적으로 복잡한 부위에 더 많은 계산 자원을 집중하게 하여 세부 묘사를 강화한다.

Spatially-Structured Co-Generation은 RGB 스트림 z_r과 보조 구조 스트림 z_h를 공유된 DiT 백본에서 공동 학습한다. 3D RoPE(Rotary Positional Encoding)를 사용하여 각 토큰에 (h, w, t) 좌표를 부여하며, 두 스트림을 너비(width) 방향으로 이어 붙여 공간적 대응 관계를 학습시킨다. 학습 2단계에서는 Asymmetric Co-Attention 마스크를 적용하여 RGB 쿼리는 RGB 토큰만 참조하게 하고, HOI 쿼리는 양쪽 모두를 참조하게 하여 추론 시 RGB 경로의 독립성을 보장한다.

실험 결과 CoInteract는 VLM-QA(비디오 언어 모델 기반 상호작용 평가)에서 0.72점을 기록하여 기존 SOTA 모델인 InteractAvatar(0.62)를 크게 앞질렀다. 특히 손의 구조적 품질을 나타내는 HQ 지표에서 0.724를 달성하여 물리적 일관성이 비약적으로 향상되었음을 입증했다.

Ablation Study에 따르면 보조 구조 스트림(Co-Gen)을 제거했을 때 VLM-QA 점수가 0.72에서 0.48로 33.3% 급감하여, 기하학적 감독이 물리적 타당성 확보에 필수적임을 보여주었다. 또한 MoE 모듈은 추론 비용을 단 4%만 증가시키면서도 손의 선명도와 얼굴의 정체성 보존 능력을 유의미하게 개선했다.

CoInteract의 아키텍처는 WanS2V를 베이스라인으로 하며, DiT 블록 내부에 Human-Aware MoE를 직접 삽입한 구조다. MoE는 기존 DiT의 FFN을 공유 전문가(Shared Expert)로 재사용하고, 머리(Head), 손(Hand), 기본(Base)을 담당하는 3개의 경량 FFN을 추가하여 파라미터 증가를 최소화했다. 라우터 학습 시에는 stop-gradient 연산을 적용하여 라우터 최적화가 DiT의 표현 학습을 방해하지 않도록 설계했다.

학습은 2단계로 진행된다. 1단계에서는 전체 양방향 Attention을 통해 RGB와 구조 스트림 간의 결합을 유도하고, 2단계에서는 비대칭 코-어텐션(Asymmetric Co-Attention) 마스크를 적용한다. 이 마스크는 M_i,j = 1 (if i ∈ T_r, j ∈ T_r 또는 i ∈ T_h, j ∈ T_r ∪ T_h)로 정의되어, RGB 생성 경로가 구조 브랜치 없이도 독립적으로 작동할 수 있게 한다. 이를 통해 추론 시에는 구조 브랜치를 제거하여 연산 효율성을 극대화한다.