말하는 얼굴 비디오의 감정 편집을 위한 교차 모달 감정 전이

기존의 말하는 얼굴 생성 기술은 정해진 몇 가지 감정 카테고리에 갇혀 있거나 음성에서 감정과 언어 정보를 분리하는 데 어려움을 겪었습니다. 이 논문은 음성과 시각 데이터 사이의 감정 의미 벡터를 직접 모델링하여, 학습 데이터에 없던 복잡한 감정까지 자연스럽게 표현할 수 있는 새로운 프레임워크를 제시합니다.

기존의 감정 편집은 '슬픔', '기쁨' 같은 이산적인 레이블을 입력으로 사용하거나, 음성에서 감정 정보만을 완벽히 분리해내지 못해 표현력이 제한적이었다. C-MET은 감정을 하나의 고정된 점(Embedding)이 아니라, 중립 상태와 감정 상태 사이의 '차이'를 나타내는 벡터(Emotion Semantic Vector)로 정의한다. 이는 마치 벡터 연산에서 '왕 - 남자 + 여자 = 여왕'이 되는 것과 유사한 원리로, 중립 얼굴에 특정 감정의 변화량 벡터를 더해 최종 표정을 산출하는 방식이다.

이 과정에서 대규모 데이터로 사전 학습된 Audio Encoder를 활용해 음성에 담긴 미세한 감정적 뉘앙스를 포착한다. 음성 공간에서 계산된 이 변화량 벡터를 시각 공간의 변화량으로 매핑하기 위해 Transformer 구조를 사용한다. Self-Attention 메커니즘을 통해 음성 토큰과 시각 토큰 간의 상관관계를 학습함으로써, 음성의 떨림이나 톤 변화가 얼굴의 어떤 근육 움직임으로 이어져야 하는지를 정교하게 파악한다.

결과적으로 모델은 특정 감정 카테고리를 외우는 것이 아니라 음성과 표정 사이의 '변화 규칙'을 학습하게 된다. 이를 통해 '풍자'와 같이 데이터셋에 명시적으로 존재하지 않는 복잡한 감정이라도, 음성에 포함된 독특한 의미적 특징을 시각적 표정으로 전이시켜 훨씬 더 생동감 있고 자연스러운 비디오 생성을 가능하게 한다.

전체 시스템은 사전 학습된 Audio Encoder(emotion2vec+large)와 Visual Encoder(EDTalk 기반)를 사용하여 각 모달리티의 임베딩을 추출하는 것으로 시작한다. 감정 의미 벡터(Emotion Semantic Vector)는 타겟 감정 임베딩에서 입력(중립) 임베딩을 빼서 계산한다. [타겟 임베딩 - 입력 임베딩 → 감정 변화량 벡터 → 감정의 순수한 의미 정보 추출]

핵심 모듈인 Cross-Modal Transformer는 음성 토큰(a)과 시각 토큰(v)을 입력받아 시각적 감정 벡터를 예측한다. 이때 Contrastive Learning 목적 함수를 도입하여 음성 토큰과 시각 토큰이 공유된 잠재 공간에서 서로 정렬되도록 유도한다. [v, a 쌍 입력 → 코사인 유사도 계산 → 동일 감정은 가깝게, 다른 감정은 멀게 배치 → 모달리티 간 도메인 간극 해소]

최종 손실 함수는 예측된 벡터와 실제 벡터 사이의 MSE를 측정하는 Reconstruction Loss(Lrecon), 모달리티 정렬을 위한 Contrastive Loss(Lcnt), 그리고 예측 벡터의 방향성을 강제하는 Direction Loss(Ldir)의 조합으로 구성된다. [벡터 내적 계산 → 방향 일치 여부 확인 → 반대 방향 벡터 억제 → 감정 표현의 선명도 향상]

MEAD 데이터셋에서 C-MET은 55.91%의 감정 정확도(Acc_emo)를 기록하여, 기존 최고 성능 모델인 EDTalk(41.99%)를 크게 앞질렀다. 특히 음성 기반 경쟁 모델인 FLOAT(13.21%)와 비교했을 때 압도적인 성능 차이를 보였다. 이는 C-MET이 음성에서 언어 정보를 배제하고 순수하게 감정 의미만을 추출하여 시각 공간으로 전이하는 데 성공했음을 시사한다.

Ablation Study를 통해 Contrastive Loss(Lcnt)와 Direction Loss(Ldir)의 효과를 검증했다. Lrecon만 사용했을 때 49.43%였던 정확도는 모든 손실 함수를 적용했을 때 55.91%로 상승했다. 또한, 참조하는 음성 샘플(Speech-shot)의 개수가 늘어날수록 정확도가 완만하게 상승하다가 10개 지점에서 수렴하는 경향을 확인했다.

사용자 평가(User Study)에서도 기본 감정과 확장 감정 모두에서 C-MET이 생성한 비디오가 감정 표현력, 시각적 품질, 입 모양 동기화 측면에서 가장 높은 선호도를 얻었다. 특히 풍자(Sarcasm)와 같은 미학습 감정에서 타 모델 대비 뚜렷하게 비대칭적인 미소나 눈썹 움직임을 재현해내는 정성적 우수성을 입증했다.

C-MET의 아키텍처는 크게 세 부분으로 나뉜다. 첫째, 자기지도학습 기반의 emotion2vec+large를 Audio Encoder로 채택하여 풍부한 감정 표현을 추출한다. 둘째, 1D Convolution 기반의 Tokenizer를 통해 시각 및 음성 임베딩을 고정된 차원의 토큰으로 변환한다. 셋째, 8개의 레이어로 구성된 Transformer Encoder가 이 토큰들 사이의 상호작용을 모델링한다.

기존 연구들이 감정 레이블이나 참조 이미지를 직접 주입하는 것과 달리, C-MET은 '차이 벡터'를 학습함으로써 데이터 효율성을 높였다. 학습 시에는 동일 인물의 중립 비디오와 감정 비디오 쌍을 활용하며, 추론 시에는 중립 비디오와 타겟 음성만으로 감정 편집이 가능하다. 이는 이미지 기반 방식이 요구하는 정면 얼굴 참조 데이터의 제약을 극복하게 해준다.

구현 측면에서, Transformer의 입력 토큰에는 위치 정보(Positional Encoding)와 모달리티 종류를 구분하는 타입 임베딩(Type Embedding)이 추가된다. 이를 통해 모델은 참조 시각 정보, 타겟 음성 정보, 현재 프레임 정보를 명확히 구분하여 처리한다. 추론 속도 면에서도 무거운 얼굴 표정 인코더를 경량화된 Transformer 모듈로 대체하여 효율성을 확보했다.

C-MET은 안정적인 성능을 위해 최소 3쌍 이상의 중립-감정 음성 샘플이 필요하다는 제약이 있다. 또한 현재 모델은 정면 위주의 데이터셋으로 학습되어 다각도(Multi-view) 얼굴 이미지에 대한 편집 능력은 아직 검증되지 않았으며, 영어 데이터셋 위주로 구성되어 다국어 환경에서의 일반화 성능에 대한 추가 연구가 필요하다.