본문으로 건너뛰기

Spoken Motion Model

음성 동작 모델

대화 문맥을 입력받아 음성 응답과 그에 맞는 동작을 함께 생성하는 모델입니다. 이 논문에서는 얼굴 표정, 손, 상체, 하체 움직임을 음성의 의미와 시간 정보에 맞춰 산출합니다. 음성을 먼저 만든 뒤 동작을 생성하는 Cascade와 달리 두 출력 경로를 공동 학습합니다.