LLM의 텍스트와 음성 이해 격차 해소: SALAD 프레임워크

섹션별 상세

음성 적응형 LLM이 텍스트 기반 모델이나 기존의 캐스케이드 파이프라인보다 낮은 성능을 보이는 현상을 '텍스트-음성 이해 격차'로 정의했다. 기존 연구들은 대규모 음성 합성이나 비공개 데이터셋에 의존하여 비용이 높고 재현이 어렵다는 한계가 있었다.

이해 격차의 주요 원인을 두 가지로 진단했다. 첫째는 음성 데이터를 학습하는 과정에서 기존 LLM이 보유했던 텍스트 처리 능력을 잃어버리는 '망각' 현상이며, 둘째는 음성과 텍스트 표현이 서로 일치하지 않는 '교차 모달 미정렬'이다.

제안된 SALAD(Sample-efficient Alignment with Learning through Active selection and cross-modal Distillation)는 교차 모달 증류 기법을 핵심으로 사용한다. 이는 텍스트 모델의 지식을 음성 모델로 효율적으로 전이하여 정렬 성능을 높이는 동시에 기존 지식의 망각을 방지한다.

능동 선택(Active selection) 기법을 통해 학습에 가장 효과적인 데이터를 선별하고 타겟팅된 합성 데이터를 활용한다. 이를 통해 3B 및 7B 규모의 LLM에서 공공 데이터셋만으로도 대규모 데이터를 사용한 모델들과 대등한 지식, 추론, 언어 이해 성능을 달성했다.

용어 해설

텍스트-음성 이해 격차(Text-Speech Understanding Gap): — 음성 적응형 LLM이 음성 입력을 처리할 때, 원본 텍스트 기반 LLM이 동일한 텍스트를 처리할 때보다 성능이 현저히 떨어지는 현상이다. 이는 모델이 음성 데이터를 학습하는 과정에서 기존의 언어 이해 능력을 상실하거나 두 모달리티 간의 의미적 연결이 부족할 때 발생한다.
교차 모달 증류(Cross-modal Distillation): — 하나의 데이터 형태(예: 텍스트)에서 학습된 모델의 지식을 다른 형태(예: 음성)를 처리하는 모델로 전이하는 학습 기법이다. 텍스트 모델이 가진 고도의 추론 능력을 음성 모델이 복제하도록 유도하여, 적은 양의 음성 데이터로도 높은 이해 성능을 달성하게 돕는 핵심 메커니즘이다.
능동 선택(Active Selection): — 방대한 데이터셋 중에서 모델의 성능 향상에 가장 기여도가 높거나 학습 효율이 좋은 특정 샘플을 전략적으로 골라내는 방식이다. 무작위 학습보다 데이터 효율성을 극대화할 수 있으며, SALAD 프레임워크에서는 정렬 성능을 높이기 위한 타겟팅된 데이터 구성에 사용된다.

기술

SALAD
LLM
Cross-modal Distillation

활용 사례

음성 비서의 언어 이해 능력 향상
데이터 효율적인 멀티모달 모델 학습
음성 기반 추론 시스템

언급된 리소스

논문Closing the Gap Between Text and Speech Understanding in LLMs