WavAlign: 적응형 하이브리드 사후 학습을 통한 음성 대화 모델의 지능 및 표현력 향상

기존 음성 대화 모델은 지능을 높이려 하면 음성 품질이 떨어지고, 음성을 개선하려 하면 지능이 낮아지는 상충 관계가 있었습니다. WavAlign은 텍스트와 음성 학습을 분리하여 최적화하는 새로운 학습법을 통해 똑똑하면서도 감정이 풍부한 자연스러운 목소리를 동시에 구현했습니다.

WavAlign의 핵심은 텍스트와 음성이라는 서로 다른 성격의 데이터를 하나의 모델이 학습할 때 발생하는 '간섭'을 해결하는 것이다. 딥러닝에서 Gradient Descent는 손실 함수를 줄이는 방향으로 가중치를 갱신하는데, 텍스트 정보는 정보 밀도가 높아 그래디언트 에너지가 강한 반면, 음성 정보는 데이터 양은 많지만 개별 토큰의 정보량은 적어 그래디언트가 불안정하다.

이로 인해 모델을 한꺼번에 학습시키면 텍스트 지능을 높이는 방향의 업데이트가 음성의 미세한 특징(운율, 음색)을 파괴하는 현상이 발생한다. WavAlign은 이를 해결하기 위해 텍스트는 '더 나은 대답'을 찾는 선호도 학습에 집중하게 하고, 음성은 '사람의 목소리 분포'를 벗어나지 않도록 SFT를 통해 단단히 고정하는 방식을 취한다.

결과적으로 모델은 논리적인 사고 능력을 키우면서도, 목소리의 자연스러움을 잃지 않게 된다. 이는 마치 숙련된 연기자가 대본의 의미를 깊이 이해하면서도(텍스트 최적화), 발성법이라는 기초를 잃지 않고 연기하는 것(음성 앵커링)과 유사한 원리이다.

WavAlign은 단일 단계 적응형 하이브리드 사후 학습 루프를 제안한다. 전체 손실 함수는 (1-lambda_t) * L_SFT + lambda_t * L_GRPO 형태로 구성되며, 여기서 lambda_t는 학습 과정에서 동적으로 변하는 가중치이다.

L_SFT는 모든 토큰(텍스트+음성)에 대해 교사 강제(Teacher Forcing) 방식으로 계산된다. [정답 토큰 입력 -> 다음 토큰 확률 예측 -> 실제 정답과의 Cross-Entropy 계산 -> 가중치 업데이트] 과정을 통해 음성의 자연스러운 분포를 유지하는 닻(Anchor) 역할을 수행한다.

L_GRPO는 텍스트 토큰에만 제한적으로 적용된다. [입력 프롬프트 -> G개의 응답 샘플링 -> 보상 모델의 점수 획득 -> 그룹 내 상대적 이득(Advantage) 계산 -> 텍스트 토큰의 로그 확률 업데이트] 순으로 진행된다. 이때 음성 토큰은 마스킹 처리되어 선호도 그래디언트의 영향을 받지 않으므로, 음성 품질이 저하되는 것을 방지한다.

lambda_t 게이트는 보상의 분산(Variance)과 최대 보상 값을 입력으로 받아 [보상 신뢰도 계산 -> 시그모이드 함수를 통한 게이팅 값 산출 -> EMA(지수 이동 평균) 적용 -> 최종 가중치 결정] 단계를 거쳐, 유의미한 학습 신호가 있을 때만 선호도 최적화 비중을 높인다.

VITA 및 KimiAudio 아키텍처를 기반으로 한 실험에서 WavAlign은 기존 SFT 및 DPO 베이스라인 대비 지능(IQ)과 표현력(EQ) 모두에서 유의미한 향상을 보였다. VoiceBench와 OpenAudioBench에서 텍스트 전용 DPO 대비 더 높은 점수를 기록하며 지능의 우수성을 입증했다.

음성 표현력 평가인 VStyle 벤치마크에서는 기존의 통합 RL 방식이 음향적 붕괴를 겪는 것과 달리, WavAlign은 감정 표현, 운율, 속도 조절 등 모든 지표에서 가장 높은 평균 점수(2.91~2.90)를 획득했다.

인간 주관적 평가 결과, WavAlign은 베이스라인 모델 대비 도움말 제공 능력(Helpfulness)에서 63.8%, 자연스러움(Naturalness)에서 66.2%의 승률을 기록하며 전체적으로 약 4:1의 압도적인 선호도를 보였다.

WavAlign은 모달리티 간 그래디언트 불균형 문제를 해결하기 위해 '분업화된 최적화' 전략을 사용한다. 연구진은 텍스트 업데이트가 음성 업데이트보다 훨씬 높은 유효 에너지를 가지며, 두 모달리티 간의 그래디언트 코사인 유사도가 거의 0에 가깝다는 점(Near-orthogonal)을 발견했다.

이러한 관찰을 바탕으로, 선호도 최적화의 범위를 텍스트 토큰 집합(IT)으로 제한하고 음성 토큰 집합(IS)은 SFT의 밀집된 지도 신호로 고정한다. 이는 RL 학습 시 발생하는 높은 분산의 그래디언트가 음성 생성의 세밀한 확률 분포를 교란하는 것을 수학적으로 차단하는 효과를 준다.

학습 안정성을 위해 도입된 EMA(Exponential Moving Average) 기반의 lambda 게이팅은 보상 신호의 노이즈를 필터링한다. 초기 학습 단계에서는 lambda 값을 낮게 유지하여 SFT를 통해 안정적인 분포를 먼저 형성하고, 모델이 고품질 응답을 생성하기 시작하면 점진적으로 선호도 학습 비중을 높여 지능을 정교화한다.

본 연구는 시퀀스 수준의 보상 신호에 집중하고 있어, 프레임 수준이나 토큰 수준의 더 세밀한 피드백을 적용할 경우의 성능 향상 여부는 아직 탐구되지 않았다. 또한, 현재의 오디오 평가 모델(Judge)이 텍스트 평가 모델만큼의 신뢰도와 보정 능력을 갖추지 못했다는 점이 한계로 지적된다.