Vocarium: 단일 GPU에서 실행되는 오픈소스 멀티모달 오디오 스택

작성자가 직접 구축한 도구의 실용성과 Claude Code를 활용한 개발 프로세스에 대해 긍정적인 반응을 보이고 있습니다.

• Python 컨테이너 환경에서 코드 수정이 반영되지 않을 경우 __pycache__를 삭제하거나 PYTHONDONTWRITEBYTECODE=1 설정을 확인하라.
• 실시간 스트리밍 API 구현 시 Nginx의 X-Accel-Buffering 헤더를 'no'로 설정하여 버퍼링으로 인한 지연을 방지하라.
• 코딩 에이전트 세션 간의 지식 전달을 위해 AGENTS.md와 같은 기록 문서를 활용하라.

ASR

— 음성 신호를 텍스트 데이터로 변환하는 기술이다. 이 프로젝트에서는 Qwen3-ASR 0.6B 모델을 사용하여 음성을 텍스트로 변환하고, 음성 클로닝을 위한 샘플 트리밍 자동화에 활용한다.

TTS

— 텍스트를 인간의 목소리와 유사한 음성으로 변환하는 기술이다. Qwen3-TTS 1.7B 모델을 통해 10초 분량의 샘플만으로 특정 목소리를 복제하거나 텍스트 묘사만으로 새로운 목소리를 설계할 수 있다.

Flash Attention

— Transformer 모델의 어텐션 연산 속도를 높이고 메모리 사용량을 최적화하는 알고리즘이다. 최신 하드웨어인 RTX 50 시리즈와의 호환성 이슈가 발생할 수 있어 주의가 필요하다.

SSE Buffering

— 서버에서 클라이언트로 데이터를 실시간 스트리밍할 때 중간 프록시(Nginx 등)가 데이터를 모았다가 한꺼번에 보내는 현상이다. 실시간 TTS 구현 시 응답 지연을 초래하므로 비활성화 설정이 필수적이다.