강력한 음성 상호작용을 위한 Gemini 오디오 모델 성능 개선

핵심 요약

대화형 AI의 실용성을 높이기 위해 실시간 음성 처리 능력의 중요성이 커지고 있다. 구글은 함수 호출 정확도와 지시사항 준수율을 대폭 개선한 Gemini 2.5 Flash Native Audio 모델을 출시했다. 이 모델은 70개 이상의 언어를 지원하는 실시간 음성 대 음성(Speech-to-Speech) 번역 기능을 통해 화자의 억양과 속도를 그대로 보존한다. 결과적으로 기업용 고객 서비스 에이전트부터 개인용 실시간 통역까지 더욱 자연스럽고 신뢰할 수 있는 음성 AI 경험을 제공한다.

배경

Gemini API 사용법, Vertex AI 기초, 함수 호출(Function Calling) 개념

대상 독자

음성 기반 AI 에이전트 개발자 및 다국어 서비스 기획자

의미 / 영향

음성 AI가 단순 명령 수행을 넘어 감정과 뉘앙스를 전달하는 실시간 소통 도구로 진화하고 있음을 보여준다. 특히 지연 시간 감소와 정확도 향상은 엔터프라이즈급 음성 에이전트 도입을 가속화할 것이다.

섹션별 상세

Gemini 2.5 Flash Native Audio 모델은 실시간 음성 상호작용의 핵심인 세 가지 기술 영역에서 유의미한 성능 향상을 달성했다. 복잡한 제약 조건 하에서의 다단계 함수 호출 성능을 측정하는 ComplexFuncBench Audio 평가에서 71.5%의 점수를 기록하며 업계 선두 수준을 입증했다. 또한 개발자 지시사항 준수율(Instruction Following)이 기존 84%에서 90%로 상승하여 모델 출력의 신뢰성을 확보했다. 멀티턴 대화에서 이전 대화의 문맥을 검색하고 활용하는 능력이 강화되어 더욱 자연스럽고 일관성 있는 대화 흐름을 제공한다.

새롭게 도입된 실시간 음성 번역 기능은 단순한 텍스트 변환을 넘어 화자의 음성 특성을 보존하는 고도화된 기술을 선보인다. 70개 이상의 언어와 2,000개 이상의 언어 쌍을 지원하며 화자의 억양(Intonation), 속도(Pacing), 피치(Pitch)를 그대로 유지하여 번역된 음성이 이질감 없이 들리도록 설계했다. 주변 소음을 필터링하는 노이즈 강인성을 갖추어 시끄러운 야외 환경에서도 원활한 대화가 가능하며 사용자가 별도의 설정을 바꾸지 않아도 입력 언어를 자동으로 감지하여 실시간으로 번역을 수행한다.

Gemini의 네이티브 오디오 역량은 이미 다양한 산업 분야의 고객사들을 통해 실질적인 비즈니스 가치를 창출하고 있다. 쇼피파이(Shopify)는 사이드킥(Sidekick) 에이전트에 이를 통합하여 사용자가 AI와 대화하고 있음을 잊을 정도로 자연스러운 상호작용을 구현했다. 유나이티드 홀세일 모기지(UWM)는 대출 처리 프로세스에 모델을 적용하여 14,000건 이상의 대출 생성을 지원했으며 Newo.ai는 소음이 심한 환경에서도 화자를 식별하고 대화 도중 언어를 전환할 수 있는 AI 리셉션 서비스를 구축했다.