VoxMind: 엔드투엔드 에이전트형 음성 대화 시스템

기존 음성 대화 모델은 단순히 듣고 말하는 반응형 대화에 치중했으나, VoxMind는 복잡한 추론과 외부 도구 사용 능력을 통합하여 실제 문제를 해결하는 에이전트로 진화했다. 특히 도구 개수가 늘어나도 응답 속도가 느려지지 않는 관리 구조를 도입해 실무 적용성을 크게 높였다.

기존의 음성 대화 모델은 입력 음성을 즉각적인 응답 음성으로 매핑하는 '반응형(Reactive)' 구조에 머물러 있었다. 이는 마치 사람이 생각 없이 조건반사적으로 대답하는 것과 같아, 외부 정보를 검색하거나 여러 단계의 계획이 필요한 복잡한 문제를 해결하는 데 한계가 있었다.

VoxMind는 이 과정을 '입력 → 추론(z) → 출력'의 단계적 구조로 전환했다. 딥러닝의 임베딩 공간에서 음성 특징을 추출한 뒤, 바로 답변을 내놓는 대신 내부적인 Chain-of-Thought 단계를 거쳐 논리적 계획을 먼저 세운다. 이 과정에서 모델은 자신이 외부 도구를 써야 할지, 어떤 파라미터가 필요한지를 스스로 판단한다.

특히 도구가 많아질수록 모델이 검토해야 할 정보량이 늘어나 속도가 느려지는 문제를 해결하기 위해 '이중 에이전트' 전략을 사용한다. 메인 모델이 추론하는 동안 보조 모델이 병렬적으로 후보 도구를 필터링하여 제공함으로써, 수백 개의 도구가 있어도 단일 도구를 쓸 때와 유사한 빠른 응답 속도를 유지한다.

VoxMind 아키텍처는 음성 중심 에이전트(SDM)와 보조 LLM으로 구성된다. SDM은 사용자의 음성 입력 Xt와 이전 대화 기록 Ht를 입력으로 받아 추론 궤적 ct를 생성한다. [입력: 음성 토큰 및 히스토리 → 연산: Transformer 기반 추론 → 출력: 텍스트 기반 CoT 궤적]

도구 사용 효율화를 위해 병렬 동적 도구 업데이트 메커니즘을 적용한다. SDM이 다음 행동 at를 결정하는 동안, 보조 LLM은 전체 도구 풀 Tall에서 현재 맥락에 맞는 후보 도구 Tcand를 추출한다. [입력: 현재 추론 상태 → 연산: 시맨틱 검색 및 필터링 → 출력: 상위 K개 후보 도구 세트]

학습을 위해 AgentChat 데이터셋을 활용하며, '역조건부 생성(Reverse Conditional Generation)' 방식을 사용한다. 최종 정답 A와 입력 Q가 주어졌을 때 이를 잇는 논리적 추론 체인 R을 LLM으로 생성하고, 품질 점수 S(R)가 임계값 7 이상인 데이터만 선별하여 학습에 사용한다. [입력: 입출력 쌍 → 연산: LLM 기반 추론 생성 및 필터링 → 출력: 고품질 CoT 학습 데이터]

VoxMind는 종합 성능 평가에서 74.57점을 기록하며 기존 SOTA 모델인 StepAudio2(34.88점) 대비 113% 이상의 성능 향상을 보였다. 특히 도구 선택 정확도(TS)와 파라미터 입력 정확도(PF)에서 폐쇄형 모델인 Gemini-2.5-Pro(71.51점)를 능가하는 결과를 확인했다.

효율성 측면에서 Multi-Agent Dynamic Tool Management의 효과가 입증됐다. 도구 개수가 10개에서 100개로 늘어날 때 일반적인 모델은 지연 시간이 기하급수적으로 증가한 반면, VoxMind는 추가 대기 시간을 15ms 미만으로 억제하며 O(1) 수준의 확장성을 달성했다.

Ablation Study 결과, 'Think-before-Speak' 메커니즘을 제거했을 때 작업 성공률이 74.57%에서 68.83%로 하락하여 명시적 추론 과정이 복잡한 작업 수행에 필수적임을 증명했다.

VoxMind는 음성 모달리티의 풍부한 정보를 보존하기 위해 의미론적 메모리(Semantic Memory)와 음향적 메모리(Acoustic Memory)를 모두 유지하는 듀얼 채널 아키텍처를 채택했다. 이는 단순히 텍스트로 변환된 내용뿐만 아니라 화자의 감정, 톤, 속도 등 파라언어적 특징을 추론에 반영할 수 있게 한다.

추론 과정에서 발생하는 토큰 오버헤드를 분석한 결과, 음성 출력 시 'THINK' 토큰이 차지하는 비중은 약 12.6%에 불과했다. 이는 명시적 추론 단계를 추가하더라도 전체 음성 생성 시간에 미치는 영향이 제한적이며, 오히려 정확도 향상으로 인한 이득이 훨씬 큼을 시사한다.

도구 호출의 정확성을 높이기 위해 'Proactive Seeking' 능력을 학습시켰다. 현재 가용한 도구 세트가 사용자의 요청을 해결하기에 부족하다고 판단되면, 모델은 스스로 'aretrieve' 액션을 수행하여 도구 라이브러리를 확장하도록 설계되었다.

명시적인 추론 궤적 생성 단계가 포함되므로, 매우 단순한 응답이 필요한 상황에서는 반응형 모델보다 연산 오버헤드가 발생할 수 있다. 또한 현재 데이터셋은 텍스트 기반 코퍼스를 음성으로 합성하여 구축되었기에 실제 구어체에서 나타나는 특유의 비유창성(Disfluency)을 완벽하게 반영하지 못할 수 있다.