Speech-to-Speech AI 입문: 2024년의 변화와 핵심 기술

기존 음성 AI는 ASR, LLM, TTS를 순차적으로 연결하는 캐스케이드 방식을 사용했으나, 이는 1초 이상의 지연과 감정 정보 손실이라는 한계를 가짐. 2024년 등장한 Speech-to-Speech(STS) 모델은 텍스트 변환 없이 음성을 직접 토큰화하여 처리함으로써 인간의 대화 속도인 200ms 수준의 지연 시간을 구현함. 이 모델들은 신경 오디오 코덱을 통해 파형을 이산 단위로 압축하고, 프레임 단위로 오디오와 텍스트를 동시 생성하여 실시간 상호작용을 지원함. 특히 Inner Monologue 기법을 통해 언어적 추론과 오디오 생성을 결합하여 대화의 일관성을 유지함. 이러한 기술적 변화는 고객 서비스와 같은 작업 효율성 중심 시장뿐만 아니라, 감정적 교감이 중요한 동반자 AI 시장의 성장을 견인할 것으로 전망됨.