LLM 기반 텍스트 음성 변환(TTS) 시스템의 품질 및 견고성 향상

섹션별 상세

다국어 TTS에서 원어민의 억조가 타겟 언어에 섞이는 '억조 전이(Accent Leakage)'가 주요 병목 현상이었다. LoRA를 사용해 특정 지역 데이터로 모델을 미세 조정함으로써 화자의 고유 목소리는 유지하면서 타겟 언어의 원어민 발음을 정확히 구현했다. 이 방식은 화자 정체성 손실 없이 다국어 보이스 클로닝을 가능하게 한다.

음성의 감정과 표현력을 높이기 위해 확산 모델에서 주로 쓰이는 CFG(Classifier-Free Guidance) 기법을 도입했다. CFG를 통해 생성된 참조 오디오를 추론 시 조건으로 활용하여 모델이 더 풍부한 운율과 감정 표현을 학습하도록 유도했다. MUSHRA 테스트 결과 미국 남부 영어에서 20.05%, 독일어에서 14.12% 등 전반적인 품질 향상이 확인됐다.

자기회귀 방식의 LLM TTS는 음성 길이를 명시적으로 모델링하지 않아 할루시네이션이나 문장 끊김이 빈번했다. CoT 추론을 적용해 음성 토큰 생성 전 음소 시퀀스와 지속 시간을 먼저 예측하게 함으로써 생성 과정의 계획성을 확보했다. 이를 통해 모델이 'read'와 같은 이형동의어나 특이한 이름을 더 정확하게 발음할 수 있게 됐다.

예측된 음소 수와 지속 시간을 가드레일(Guardrails)의 체크포인트로 활용하여 생성 결과의 정합성을 검증한다. 실제 출력물의 길이가 예측치와 크게 다를 경우 에이전트가 이를 감지하고 샘플링 파라미터를 조정하여 재생성을 수행한다. 이러한 자동화된 검증 루프는 프로덕션 환경에서의 신뢰성을 대폭 강화한다.

학습 데이터의 품질을 높이기 위해 ASR 기반 지표와 LLM 어텐션 메커니즘 지표를 결합한 데이터 필터링을 수행했다. ASR은 전사 오류를 잡아내고 어텐션 지표는 데이터 간의 정렬 상태를 평가하여 표현력이 풍부한 데이터를 선별한다. 이 기법들을 종합 적용한 결과 장문 텍스트에서 치명적 오류 발생 시간을 시간당 1초 미만으로 단축했다.

이미지 분석

Diagram
텍스트 입력이 음성 토큰으로 변환되는 과정을 시각화하며, 본문에서 설명하는 다국어 음성 합성 및 표현력 개선의 개념적 흐름을 뒷받침한다.
LLM 기반 TTS 시스템의 작동 원리를 보여주는 애니메이션.

용어 해설

저순위 적응(LoRA): — 거대 모델의 전체 파라미터를 수정하는 대신, 일부 저차원 행렬만을 학습시켜 모델을 특정 작업에 효율적으로 미세 조정하는 기법이다. TTS에서는 화자의 고유 목소리를 유지하면서 특정 언어의 억조를 학습시키는 데 사용된다.
분류기 없는 가이드(Classifier-Free Guidance): — 생성 모델에서 조건부 정보의 영향력을 조절하여 출력물의 품질과 다양성을 제어하는 기술이다. TTS 시스템에서 화자의 정체성과 억조를 분리하고 음성의 표현력을 극대화하는 데 활용된다.
사고의 사슬(Chain-of-Thought): — 모델이 최종 결과를 내놓기 전 중간 추론 단계를 거치게 하여 복잡한 문제 해결 능력을 높이는 방식이다. TTS에서는 음성 생성 전 음소와 지속 시간을 미리 예측하여 할루시네이션을 방지하는 역할을 한다.
자기회귀 모델(Autoregressive Model): — 이전 단계에서 생성된 데이터를 다음 단계의 입력으로 사용하여 순차적으로 데이터를 생성하는 모델 구조이다. LLM 기반 TTS의 핵심 방식이지만, 명시적인 길이 모델링이 없어 반복이나 끊김 현상이 발생하기 쉽다.
다중 자극 숨겨진 참조 및 앵커 테스트(MUSHRA): — 여러 음성 샘플의 품질을 주관적으로 평가하여 비교하는 표준 청취 테스트 방법론이다. 기준 음성과 비교하여 합성된 음성의 자연스러움과 품질을 수치화하는 데 널리 사용된다.

기술

LoRA
Classifier-Free Guidance
Chain-of-Thought
ASR

활용 사례

다국어 음성 클로닝 서비스
표현력이 풍부한 대화형 AI 챗봇
장문 텍스트 읽기 서비스(Audiobook)

언급된 리소스

문서Improving quality and robustness in LLM-based text-to-speech systems