안드로이드 폰에서 구현한 완전 로컬 실시간 음성 대화 시스템

실용적 조언

실시간 음성 앱 개발 시 VAD가 문장 경계에서 즉시 이벤트를 발생시키도록 수정하면 응답 속도를 높일 수 있다.
모바일 로컬 환경에서는 Qwen3 1.7B와 같은 경량 LLM을 선택하는 것이 성능과 속도 균형에 유리하다.

섹션별 상세

기존 시스템의 지연 시간을 해결하기 위해 QVAC 워커의 커스텀 포크를 개발했다. 사용자가 말을 마칠 때까지 기다리는 기본 설정 대신, 음성 활동 감지기가 실시간으로 부분 전사 데이터를 방출하도록 수정했다. 문장 경계가 감지되는 즉시 LLM에 데이터를 입력하여 응답 생성 시점을 앞당겼다.

전체 스택을 안드로이드 기기 내에서 구동하기 위해 경량화된 모델들을 조합했다. 음성 인식에는 Parakeet 스트리밍 모델을, 언어 모델로는 Qwen3 1.7B를, 음성 합성에는 Supertonic 엔진을 사용했다. 이를 통해 네트워크 연결 없이도 기기 자체에서 모든 AI 연산이 완결되는 구조를 구축했다.

JarvisQVAC 앱이 안드로이드 폰에서 온디바이스 모델을 준비 중인 화면이다. — Screenshot스마트폰에서 네트워크 없이 로컬 모델을 로드하여 실행하는 초기 단계를 보여준다. 화면에 표시된 'Preparing on-device models' 문구는 이 시스템이 클라우드가 아닌 기기 내부 자원을 사용함을 입증한다.

사용자가 말을 멈추는 시점과 첫 번째 음성 응답이 출력되는 사이의 간격을 거의 제거했다. 영상 시연을 통해 텍스트 전사가 단어 단위로 나타나는 동시에 Qwen3가 답변을 생성하고 TTS가 음성을 출력하는 병렬 처리 과정을 입증했다. 이는 실시간 대화의 몰입감을 높이는 핵심적인 기술적 성과이다.

용어 해설

음성 인식(Speech-to-Text): — 사람의 음성 신호를 텍스트 데이터로 변환하는 기술이다. 이 프로젝트에서는 Parakeet 모델을 사용하여 실시간 스트리밍 방식으로 음성을 텍스트로 변환하여 LLM의 입력값으로 활용한다.
음성 합성(Text-to-Speech): — 텍스트 데이터를 인공적인 음성으로 변환하여 출력하는 기술이다. Supertonic 엔진을 통해 LLM이 생성한 문장 단위의 텍스트를 즉각적으로 음성으로 변환하여 사용자에게 전달한다.
음성 활동 감지(Voice Activity Detector): — 오디오 신호에서 인간의 음성이 포함된 구간을 식별하는 기술이다. 사용자가 말을 마칠 때까지 기다리지 않고 부분적인 전사 데이터를 생성하여 응답 지연 시간을 줄이는 핵심 역할을 한다.
온디바이스 AI(On-device AI): — 외부 서버나 클라우드 연결 없이 기기 자체에서 AI 모델을 실행하는 방식이다. 네트워크 지연 없이 개인정보를 보호하며 실시간 대화형 서비스를 구현할 수 있게 한다.

언급된 도구

QVAC SDK추천

안드로이드 로컬 AI 모델 구동 및 워커 관리

Qwen3 1.7B추천

로컬 환경에서의 텍스트 생성 및 추론

Parakeet추천

실시간 음성 인식 스트리밍

Supertonic추천

문장 단위 음성 합성

언급된 리소스

GitHubQVAC Worker Fork Patches