Claude Code와 Elixir를 활용한 실시간 AI 음성 비서 업그레이드 사례

실용적 조언

오디오 스트리밍이나 LLM 연동처럼 불안정한 요소가 많은 프로젝트에는 Elixir의 Supervisor를 활용해 자동 복구 구조를 만드세요.
사용자가 말하는 도중에 LLM 토큰을 미리 수집(Ingest)하면 응답 속도를 더욱 높일 수 있습니다.

섹션별 상세

전체 시스템 아키텍처를 Elixir/OTP와 Phoenix LiveView 기반으로 재설계했다. 마이크 입력부터 STT, LLM 추론, TTS 출력까지 이어지는 파이프라인을 Supervisor가 감시하도록 설정하여 오디오나 모델 충돌 시 시스템이 스스로 복구된다. 이를 통해 스트리밍 중 발생하는 일시적인 오류에도 전체 프로세스가 중단되지 않고 유지되는 안정성을 확보했다.

실시간 응답성을 확보하기 위해 문장 단위의 스트리밍 처리를 도입했다. LLM에서 생성되는 토큰을 실시간으로 받아 문장 단위로 끊어 F5-TTS에 전달함으로써 전체 문장이 완성되기 전에도 음성 출력이 시작되도록 구현했다. faster-whisper와 llama.cpp를 로컬에서 실행하여 네트워크 지연을 최소화하고 즉각적인 상호작용이 가능하도록 설계했다.

아바타 렌더링과 상태 관리를 위해 서버 중심의 상태 머신 구조를 채택했다. 서버에서 LiveView를 통해 상태 이벤트를 푸시하면 클라이언트의 Plain JS가 캔버스에 픽셀을 그리는 방식으로 작동한다. 클라이언트 로직을 최소화하고 서버에서 모든 상태를 제어함으로써 음성과 시각적 피드백 간의 동기화 효율을 높였다.

용어 해설

음성 텍스트 변환(STT): — 사람의 음성 신호를 텍스트 데이터로 변환하는 기술이다. 이 프로젝트에서는 faster-whisper를 사용하여 마이크 입력을 실시간으로 텍스트화하여 LLM의 입력값으로 전달하는 역할을 수행한다.
음성 합성(TTS): — 텍스트 데이터를 인공적인 음성으로 변환하는 기술이다. F5-TTS 모델을 통해 LLM이 생성한 문장 단위의 텍스트를 자연스러운 목소리로 출력하여 사용자에게 전달한다.
네이티브 구현 함수(NIF): — Elixir나 Erlang 같은 고수준 언어에서 C나 Rust로 작성된 저수준 코드를 직접 호출하는 인터페이스이다. Rustler를 통해 마이크와 스피커 하드웨어 제어를 위한 성능 최적화에 사용됐다.
오픈 텔레콤 플랫폼(OTP): — 동시성과 결함 허용성이 뛰어난 시스템을 구축하기 위한 프레임워크이다. Supervisor 패턴을 활용해 오디오 스트리밍이나 LLM 추론 중 발생하는 충돌을 자동으로 복구하는 구조를 제공한다.

언급된 도구

Claude Code추천

코드 작성 및 시스템 리팩터링 보조

llama.cpp추천

로컬 LLM 추론 엔진

faster-whisper추천

실시간 음성 텍스트 변환(STT)

F5-TTS추천

고품질 음성 합성(TTS)