Motion-Omni의 음성·전신 동작 공동 생성

왜 중요한가

기존 Cascade는 먼저 음성을 완성한 뒤 별도의 audio-to-motion 모델을 실행하므로 전체 추론이 한 번 더 필요하고, 동작 손실이 음성 생성 경로를 갱신하지 못했습니다. Motion-Omni는 음성 토큰과 Speech Generator의 hidden states를 동작 생성기에 직접 전달해 이 단계를 제거하면서도, Motion-Omni-Q7에서 같은 음성을 사용하는 LOM Cascade 대비 응답 시간을 5.4배 줄였습니다.

핵심 기여

음성 생성 상태 기반 전신 동작 생성

Motion Generator가 디코딩된 waveform이 아니라 Speech Generator의 hidden states와 음성 토큰 임베딩을 입력으로 받아 얼굴, 손, 상체, 하체 동작 코드를 생성합니다. Motion loss는 LLM, Speech Generator, Motion Generator를 함께 갱신해 음성-동작 정렬을 학습합니다.

품질 순위 기반 의사 라벨링 데이터 구축

LOM을 Teacher로 사용해 일관된 음성의 응답 파형에 네 신체 부위별 동작 코드를 부여하고, VQ-VAE 복원 오차와 Beat Correlation을 결합한 점수로 학습 순서를 정합니다. 그 결과 422,856개 샘플과 1,402.3시간의 TTSM 학습 데이터를 구축했습니다.

개방형 전신 음성 대화 평가 프로토콜

SwDA-500에서 동일한 대화 프롬프트와 공유 렌더러를 사용하고, 음성·동작 자동 지표·사람 평가·지연 시간을 함께 측정하는 평가 절차를 제시했습니다. 이를 통해 응답 내용과 운율 차이가 동작 비교에 미치는 영향을 줄였습니다.

핵심 아이디어 이해하기

기존 Spoken Dialogue Model은 대화 응답을 음성으로 만들고, 동작 모델은 완성된 음성을 다시 입력받아 움직임을 생성합니다. 이 구조에서는 음성 생성과 동작 생성이 서로 다른 추론 단계에 놓이며, 동작 손실이 음성을 만드는 내부 표현을 조정하지 못합니다. 또한 음성 생성과 동작 생성이 각각 전체 시퀀스를 처리해 응답 시간이 늘어납니다.

Motion-Omni는 음성 토큰을 만드는 Speech Generator의 hidden states를 동작 생성에 재사용합니다. Speech Generator의 hidden states는 음성의 의미와 화자 관련 정보를 담고, 음성 토큰 임베딩은 특정 시점에 어떤 내용이 발화되는지 나타냅니다. 동작 생성기는 hidden states를 key/value로 읽고, 12.5 Hz 음성 토큰 임베딩을 30 Hz 동작 프레임 속도로 선형 보간한 query를 결합해 네 신체 부위의 동작 코드를 예측합니다.

이렇게 하면 waveform을 다시 분석하는 별도 audio-to-motion 추론이 사라지고, 음성·동작 손실이 공유 표현을 함께 조정합니다. 실제로 Speech Generator를 고정한 실험에서는 동작과 음성의 정렬이 떨어졌지만, 두 경로를 공동 학습하자 동작 손실과 정렬이 개선됐습니다. Motion-Omni-Q7은 비Teacher Cascade 가운데 Beat Correlation 7.59, Diversity 13.67을 기록하고 RTF 0.78로 실시간보다 빠르게 응답했습니다.

방법론

Motion-Omni-Q7은 Whisper-large-v3, Speech Projector, Qwen2.5-7B-Instruct LLM Backbone, Speech Generator, Part-Aware Motion Generator로 구성됩니다. 16 kHz 사용자 파형은 Whisper-large-v3에서 1280차원 표현으로 변환되고, Speech Projector는 연속된 5개 프레임을 결합한 뒤 2층 MLP로 LLM embedding 공간에 투영합니다. LLM은 12.5 Hz의 GLM-4-Voice 음성 유닛을 자동회귀적으로 생성하며, Speech Generator는 16,384개 음성 유닛과 3개 제어 토큰을 사용합니다.

Motion Generator는 face, hand, upper, lower에 대해 독립적인 네 개의 decoder를 병렬로 실행합니다. 각 decoder는 Speech Generator의 마지막 hidden states를 512차원 동작 공간으로 투영한 key/value와 음성 유닛 임베딩 query를 입력으로 받습니다. query는 12.5 Hz에서 30 Hz로 선형 보간되며, 이후 causal self-attention이 이전 동작 프레임만 참조합니다. 각 decoder는 프레임마다 256개 LOM codebook 항목 중 하나를 예측하고, 네 부위의 코드 스트림은 frozen LOM VQ-VAE를 거쳐 SMPL-X 신체·손 파라미터와 FLAME 얼굴 표정 계수로 복원됩니다.

학습은 네 단계로 진행됩니다. Stage 1에서는 Whisper 표현을 transcript로 복원하도록 Speech Projector를 ASR로 학습하고, Stage 2에서는 텍스트 응답에서 음성 유닛을 생성하도록 Speech Generator를 TTS로 학습합니다. Stage 3에서는 LOM이 만든 TTSM 의사 라벨을 사용해 Speech Generator와 Motion Generator를 공동 학습하며, 품질 점수 상위 12.5%, 25%, 50%, 100% 순으로 데이터 범위를 넓힙니다. Stage 4에서는 ASR, TTS, S2SM, T2T 데이터를 섞어 LLM, Projector, Speech Generator, Motion Generator를 함께 Fine-tuning합니다.

학습 데이터는 응답 파형마다 LOM의 네 부위별 VQ 코드를 부여한 뒤, weighted VQ-VAE reconstruction error와 Beat Correlation을 각각 5~95 백분위로 정규화해 결합합니다. 두 지표의 가중치는 α=0.5이며, 복원 오차가 낮고 음성 리듬과 동작 리듬의 상관이 높은 샘플을 먼저 학습합니다. 음성은 CosyVoice 2 flow-matching decoder에서 mel spectrogram으로 변환한 뒤 HiFi-GAN으로 22.05 kHz waveform을 만들고, 동작은 별도 waveform 입력 없이 hidden states에서 직접 생성합니다.

주요 결과

Motion-Omni-Q7의 Seed-TTS-Eval test-en WER은 2.62%로 비교한 omni-modal LLM 중 가장 낮았습니다. VoiceBench Overall 점수는 47.63으로 LLaMA-Omni 41.12, Ex-Omni 43.57, Mini-Omni2 33.49, Moshi 29.51보다 높았습니다. SwDA-500 생성 음성의 UTMOSv2 점수는 3.77이었습니다.

동작 평가에서 Motion-Omni-Q7은 LOM을 추론 시 사용하지 않는 시스템 가운데 Beat Correlation 7.59, Diversity 13.67로 가장 높았습니다. LOM 분포를 기준으로 하는 teacher-reference FGD는 3.03이었고, 얼굴 MSE는 6.723, LVD는 6.427, lip-sync LSE-C는 6.723, LSE-D는 3.03으로 측정됐습니다. 논문은 같은 음성을 사용하는 Teacher Cascade와 reference-free 동작 지표에서 약 2% 이내의 차이를 기록했다고 보고합니다.

사람 평가에서는 같은 Motion-Omni 음성을 사용한 EMAGE 비교에서 45승, 10무, 20패로 승패 차이 25를 기록했습니다. LOM 비교에서는 25승, 27무, 23패였으며, 저자들은 네 명의 평가자와 25개 paired clip으로 얻은 작은 차이를 신뢰할 만한 선호로 해석하지 않았습니다.

전체 응답 시간은 4.32초, RTF는 0.78이었습니다. 같은 Motion-Omni 음성과 LOM을 순차 실행한 Cascade는 23.35초와 RTF 4.39를 기록해 Motion-Omni-Q7보다 5.4배 느렸습니다. Motion-Omni-Q7은 음성 생성과 동작 생성을 하나의 hidden-state 경로에서 처리해 별도 audio-to-motion 단계를 제거했습니다.

기술 상세

Speech Generator는 12.5 Hz 음성 유닛을 생성하고 Motion Generator는 30 Hz 동작 프레임을 생성하므로 두 시퀀스의 시간 해상도가 다릅니다. Motion Generator는 이 차이를 음성 유닛 임베딩 query의 선형 보간으로 처리합니다. 즉, 입력은 12.5 Hz 음성 유닛과 Speech Generator hidden states이고, 보간 연산을 거쳐 30 Hz query를 만든 뒤 각 동작 프레임의 VQ code를 출력합니다. 음성 토큰은 발화 내용의 시간 위치를 제공하고 hidden states는 음성 생성 과정의 문맥·음향 정보를 제공하므로 waveform을 재생성한 뒤 다시 분석하는 경로가 필요하지 않습니다.

각 부위 decoder는 2개의 TQGF layer와 6-layer self-attention Transformer로 구성되며, motion working dimension은 512, attention head 수는 8, head dimension은 64입니다. 주기적 rotary positional encoding의 주기는 30으로, 30 Hz에서 1초에 해당합니다. 네 decoder는 같은 음성 문맥을 읽지만 파라미터는 분리되어 있고, 추론 중 서로가 생성한 동작 출력을 직접 참조하지 않습니다.

Motion loss는 얼굴·손·상체·하체별 cross-entropy를 부위별 가중합으로 계산합니다. 가중치 비율은 face:hand:upper:lower = 106:180:78:61이며, 각 가중치는 합이 1이 되도록 정규화되고 SMPL-X와 FLAME의 특성 차원 수에 비례합니다. 각 프레임에서 256개 LOM codebook 항목 중 하나를 선택하고 label smoothing 0.1을 적용하므로, 모델 출력은 부위별 동작 코드 시퀀스가 됩니다.

학습 중에는 Speech Generator가 만든 음성 유닛 대신 정답 음성 유닛을 Motion Generator에 제공하고, 추론 중에는 방금 생성한 유닛을 사용합니다. 이 차이는 학습 시 안정적인 동작 정렬을 확보하면서 실제 사용 시 음성 생성 결과와 동작을 연결하는 방식입니다. Stage 3에서 Speech Generator까지 공동 갱신했을 때 Speech Generator를 고정한 경우보다 동작 손실이 낮아지고 음성-동작 정렬이 개선됐습니다.

한계점

동작 표현력은 LOM VQ-VAE codebook과 LOM Teacher가 만든 의사 라벨 분포에 제한됩니다. 연구에서는 Motion-Omni-Q7 한 인스턴스만 학습했으며, 더 강한 backbone·motion teacher·연속 동작 head는 후속 과제로 남겼습니다. 명시적인 화자 정체성이나 감정을 입력으로 사용하지 않고 학습 데이터가 영어로만 구성되어 다른 언어와 동작 문화로의 일반화가 제한됩니다. 사용자 발화를 모두 받은 뒤 첫 응답 토큰을 생성하므로 streaming 대화 모델이 아니며, FGD와 Beat Correlation은 자연스러움의 불완전한 대리 지표입니다. 사람 평가는 네 명의 평가자에 기반한 탐색적 비교이고, 대규모 독립 평가가 없다는 한계도 있습니다.

실무 활용

대화형 아바타가 사용자 발화에 답하면서 얼굴 표정과 전신 동작을 동시에 출력하는 연구·개발에 활용할 수 있습니다. GitHub에 구현과 관련 자료가 공개되어 있어 동일한 구조를 재현하거나 다른 Speech Generator와 motion teacher로 교체하는 실험에 적합합니다.

음성 대화형 아바타의 발화·표정·손동작·상체·하체 동작 공동 생성
동일한 음성 응답을 유지하면서 여러 audio-to-motion 모델과 동작 품질 비교
LOM 기반 의사 라벨링과 품질 순위 학습을 이용한 음성-동작 데이터 구축
SwDA-500 프로토콜을 활용한 개방형 전신 음성 대화 평가

코드 공개 여부: 공개

코드 저장소 보기

키워드

Motion-Omni(음성·전신 동작 공동 생성 프레임워크)Qwen2.5-7B-Instruct(대화형 LLM Backbone)Speech Generator(음성 유닛 생성기)Part-Aware Motion Generator(부위별 동작 생성기)Pseudo-labeling(의사 라벨링)SwDA-500(개방형 음성 대화 평가 세트)Beat Correlation(음성-동작 리듬 상관도)

용어 해설

음성 동작 모델(Spoken Motion Model): — 대화 문맥을 입력받아 음성 응답과 그에 맞는 동작을 함께 생성하는 모델입니다. 이 논문에서는 얼굴 표정, 손, 상체, 하체 움직임을 음성의 의미와 시간 정보에 맞춰 산출합니다. 음성을 먼저 만든 뒤 동작을 생성하는 Cascade와 달리 두 출력 경로를 공동 학습합니다.
의사 라벨링(Pseudo-labeling): — 사람이 직접 주석을 달지 않고 기존 Teacher 모델의 출력을 학습 라벨로 사용하는 방법입니다. Motion-Omni는 일관된 음성의 응답 파형에 LOM을 적용해 얼굴·전신 동작 코드를 생성하고, 품질 점수로 학습 순서를 정합니다.
벡터 양자화 변분 오토인코더(VQ-VAE): — 연속적인 신호를 제한된 코드북의 이산 코드로 압축했다가 복원하는 구조입니다. 이 논문에서는 LOM의 얼굴·손·상체·하체별 코드북이 동작을 256개 코드 중 하나씩으로 표현하며, Motion Generator가 예측한 코드를 SMPL-X와 FLAME 파라미터로 복원합니다.
실시간 계수(Real-Time Factor): — 응답 생성에 걸린 시간을 사용자 발화 시간으로 나눈 값입니다. RTF가 1보다 작으면 발화가 끝난 뒤 실제 시간보다 짧게 응답을 생성했다는 뜻이며, Motion-Omni-Q7은 0.78을 기록해 음성과 동작을 함께 실시간보다 빠르게 생성합니다.
비트 상관도(Beat Correlation): — 음성의 리듬 변화와 신체 동작의 시간적 변화가 얼마나 맞물리는지 측정하는 지표입니다. 음성에서 추출한 박자 정보와 동작 속도 변화를 비교해 계산하며, 값이 높을수록 말의 리듬에 맞춰 동작이 발생하는 정도가 큽니다.

Motion-Omni의 음성·전신 동작 공동 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

라이브커머스용 옴니모달 이해 모델 TLive-Omni

실시간 상호작용과 장기 작업을 결합한 Gander

MOSS-VL 실시간 상호작용 기술 보고서

OmniAssistBench로 측정한 영상 보조 모델의 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

라이브커머스용 옴니모달 이해 모델 TLive-Omni

실시간 상호작용과 장기 작업을 결합한 Gander

MOSS-VL 실시간 상호작용 기술 보고서

OmniAssistBench로 측정한 영상 보조 모델의 한계