안드로이드 폰에서 구현한 완전 로컬 실시간 음성 대화 시스템

작성자의 커스텀 포크와 실시간 스트리밍 방식에 대해 긍정적인 반응이며, Whisper 스트리밍과의 비교 등 기술적 구현 방법에 대한 관심이 높다.

• 실시간 음성 앱 개발 시 VAD가 문장 경계에서 즉시 이벤트를 발생시키도록 수정하면 응답 속도를 높일 수 있다.
• 모바일 로컬 환경에서는 Qwen3 1.7B와 같은 경량 LLM을 선택하는 것이 성능과 속도 균형에 유리하다.

Speech-to-Text

— 사람의 음성 신호를 텍스트 데이터로 변환하는 기술이다. 이 프로젝트에서는 Parakeet 모델을 사용하여 실시간 스트리밍 방식으로 음성을 텍스트로 변환하여 LLM의 입력값으로 활용한다.

Text-to-Speech

— 텍스트 데이터를 인공적인 음성으로 변환하여 출력하는 기술이다. Supertonic 엔진을 통해 LLM이 생성한 문장 단위의 텍스트를 즉각적으로 음성으로 변환하여 사용자에게 전달한다.

Voice Activity Detector

— 오디오 신호에서 인간의 음성이 포함된 구간을 식별하는 기술이다. 사용자가 말을 마칠 때까지 기다리지 않고 부분적인 전사 데이터를 생성하여 응답 지연 시간을 줄이는 핵심 역할을 한다.

On-device AI

— 외부 서버나 클라우드 연결 없이 기기 자체에서 AI 모델을 실행하는 방식이다. 네트워크 지연 없이 개인정보를 보호하며 실시간 대화형 서비스를 구현할 수 있게 한다.