대화 증류: LLM 기반 음성 인식을 위한 대화형 오디오 컨텍스트의 추상적 압축

기존 LLM 기반 음성 인식은 이전 대화 내용을 참조할 때 오디오 데이터가 너무 길어져 연산 비용과 메모리 사용량이 급증하는 한계가 있었다. 이 논문은 이전 대화의 오디오를 핵심 정보만 담은 소수의 잠재 토큰으로 압축하여, 적은 비용으로도 고유 명사나 전문 용어를 정확하게 인식할 수 있는 실용적인 해결책을 제시한다.

Transformer 기반 모델에서 오디오는 텍스트보다 훨씬 긴 토큰 시퀀스로 표현된다. 대화가 길어질수록 이전 대화의 오디오 정보를 모두 입력에 넣으면 Self-Attention 연산량이 시퀀스 길이의 제곱으로 늘어나고, KV 캐시 메모리가 부족해지는 병목 현상이 발생하여 실시간 처리가 어려워진다.

이 논문은 모든 오디오 세부 정보를 유지하는 대신, 현재 발화를 이해하는 데 필요한 핵심 정보만 '추상화'하여 압축하는 방식을 취한다. Cross-Attention 메커니즘을 사용하여 수백 개의 오디오 토큰을 단 16개의 잠재 토큰으로 요약함으로써 정보의 밀도를 극도로 높인다. 이는 마치 사람이 긴 대화의 모든 소리를 기억하지 않고 핵심 내용만 메모해 두는 것과 유사한 원리이다.

결과적으로 모델은 이전 대화에서 누가 무엇을 어떻게 말했는지에 대한 핵심 단서를 훨씬 적은 메모리로도 유지할 수 있다. 특히 앞선 대화에서 언급된 고유 명사를 다시 말할 때, 압축된 토큰이 제공하는 문맥 정보를 통해 인식 정확도가 비약적으로 향상되는 결과를 얻었다.

Phi-4-Multimodal을 기본 모델로 사용하며, 오디오 인코더와 프로젝터를 통해 추출된 오디오 토큰 X를 입력으로 받는다. 이전 턴의 오디오 Xi를 고정된 크기 K의 잠재 토큰 Zi로 압축하는 g(·) 함수를 정의하여 컨텍스트로 활용한다.

압축 메커니즘은 학습 가능한 쿼리 행렬 Qi를 사용하여 원본 오디오 토큰에 Cross-Attention을 수행한다. [학습 가능한 쿼리 Qi와 원본 오디오 토큰 Xi를 입력으로] → [Cross-Attention 연산을 수행해] → [고정된 크기의 Zi 벡터를 얻고] → [이 값은 해당 턴의 오디오 정보를 K개의 토큰으로 요약한 의미를 갖는다]. 이때 텍스트 전사본은 압축하지 않고 원본 그대로 유지하여 언어적 단서를 보존한다.

학습은 2단계로 진행된다. Stage 1(Alignment)에서는 압축된 토큰만으로 단일 턴 음성 인식을 수행하여 압축 모듈이 LLM의 입력 공간과 호환되도록 정렬한다. Stage 2(Contextual Fine-tuning)에서는 실제 멀티턴 데이터를 사용하여 LoRA와 함께 전체 시스템을 미세 조정하며, 문맥 길이를 점진적으로 늘리는 커리큘럼 러닝을 적용해 학습 안정성을 확보한다.

DefinedAI(인도메인) 데이터셋 실험 결과, 10턴의 문맥을 사용했을 때 Bias-WER이 13.5%에서 13.1%로 개선되었다. 단순 프롬프팅만으로는 성능이 오히려 저하되었으나, 지도 미세 조정(SFT)을 거친 후에는 문맥 활용 능력이 크게 향상됨이 확인됐다.

WoW(아웃오브도메인) 데이터셋에서는 WER이 13.4%에서 12.7%로, Bias-WER은 25.6%에서 23.3%로 더 큰 폭의 개선을 보였다. 이는 제안된 방식이 학습 데이터에 없는 새로운 도메인의 고유 명사를 인식할 때 문맥 정보를 효과적으로 추출하여 활용하고 있음을 입증한다.

압축률 분석 결과, 오디오 토큰을 단 16개로 압축하더라도 원본 오디오를 모두 사용했을 때의 성능 이득을 상당 부분 유지했다. 또한 문맥이 길어질수록 압축된 토큰들이 제공하는 정보가 안정화되어 시스템의 전반적인 추론 효율성이 높아지는 경향을 나타냈다.

아키텍처는 Phi-4-Mini LLM을 백본으로 하며, 전용 오디오 인코더와 프로젝션 레이어를 포함한다. 컨텍스트 압축을 위해 상대적 위치 정보를 담은 학습 가능한 쿼리 Qi ∈ R^{K×D}를 도입하여 각 대화 턴의 순서에 따른 문맥적 의미를 포착한다.

텍스트 전사본(Transcript)은 압축하지 않고 원본 텍스트 그대로 유지하는 하이브리드 방식을 채택했다. 이는 텍스트가 오디오에 비해 토큰 효율성이 월등히 높고 명확한 언어적 단서를 제공하기 때문에, 오디오만 압축하는 것이 전체 시스템의 효율성과 정확도 사이의 최적의 균형점임을 실험적으로 확인한 결과이다.

학습 시에는 커리큘럼 러닝을 적용하여 문맥의 길이를 0부터 최대 10턴까지 점진적으로 늘려가며 학습했다. 이는 모델이 갑자기 길어진 컨텍스트에 노출되어 성능이 저하되는 현상을 방지하고, 압축된 토큰과 원본 오디오 토큰 사이의 정보 정렬을 돕는 역할을 한다.

이 연구는 단일 멀티모달 LLM 백본을 사용한 오디오 압축 설정에서만 평가되었다. 또한 입력 토큰 예산과 프롬프트 길이 감소에 따른 효율성 분석에 집중했으며, 실제 추론 지연 시간(Latency)이나 메모리 사용량(KV-cache)에 대한 직접적인 측정 수치는 포함되지 않았다.