Claude Code와 Elixir를 활용한 실시간 AI 음성 비서 업그레이드 사례

작성자의 기술 스택 선택(Elixir/Rust)과 실시간 스트리밍 구현 방식에 대해 긍정적인 반응을 보이고 있습니다.

• 오디오 스트리밍이나 LLM 연동처럼 불안정한 요소가 많은 프로젝트에는 Elixir의 Supervisor를 활용해 자동 복구 구조를 만드세요.
• 사용자가 말하는 도중에 LLM 토큰을 미리 수집(Ingest)하면 응답 속도를 더욱 높일 수 있습니다.

STT

— 사람의 음성 신호를 텍스트 데이터로 변환하는 기술이다. 이 프로젝트에서는 faster-whisper를 사용하여 마이크 입력을 실시간으로 텍스트화하여 LLM의 입력값으로 전달하는 역할을 수행한다.

TTS

— 텍스트 데이터를 인공적인 음성으로 변환하는 기술이다. F5-TTS 모델을 통해 LLM이 생성한 문장 단위의 텍스트를 자연스러운 목소리로 출력하여 사용자에게 전달한다.

NIF

— Elixir나 Erlang 같은 고수준 언어에서 C나 Rust로 작성된 저수준 코드를 직접 호출하는 인터페이스이다. Rustler를 통해 마이크와 스피커 하드웨어 제어를 위한 성능 최적화에 사용됐다.

OTP

— 동시성과 결함 허용성이 뛰어난 시스템을 구축하기 위한 프레임워크이다. Supervisor 패턴을 활용해 오디오 스트리밍이나 LLM 추론 중 발생하는 충돌을 자동으로 복구하는 구조를 제공한다.