이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Loka는 음성을 텍스트로 변환하는 기존 3단계 파이프라인의 지연과 정보 손실 문제를 해결하기 위해 Amazon Nova 2 Sonic을 활용한 speech-to-speech 아키텍처를 도입했다. 이 접근법은 음성 신호의 억양과 맥락을 보존하면서 입력 오디오를 모델이 직접 이해하고 음성으로 응답을 생성하도록 설계되어 대화의 자연스러움과 처리 효율을 동시에 개선한다.
평가 결과 Nova 2 Sonic은 Big Bench Audio에서 speech reasoning 87.0을 기록했으며 Time to First Audio는 1.39초로 제시되어 기존 텍스트 기반 파이프라인보다 빠른 응답을 제공하고 비용은 시간당 약 0.27달러로 비교적 낮게 보고됐다. 프롬프트 템플릿 반복 개선을 통해 Judge 점수가 베이스라인 2.7에서 Prompt v2의 3.8까지 상승했고, 실제 고객 페르소나 테스트에서 평균 점수가 4.0으로 나타나 실무 적용성이 입증되었다.
엔지니어링 관점에서는 LiveKit을 전송 계층으로, AWS Fargate·ECS·ElastiCache·RDS를 조합한 서버리스·이벤트 기반 아키텍처로 확장성과 회복력을 확보했고 Amazon Bedrock을 통해 Nova 2 Sonic을 호출하는 방식이 사용됐다. 다만 긴 산만한 발화나 고령자 페르소나에서 완성도와 오류 복구가 낮아지는 한계가 관찰되어 추가적인 프롬프트 엔지니어링과 튜닝이 필요하다.
섹션별 상세
고객 음성 통화를 텍스트로 변환한 뒤 LLM으로 처리하고 다시 음성으로 합성하는 전통적 파이프라인은 각 단계의 변환이 누적 지연을 만들고 억양·주저함 같은 음성 단서가 손실되어 대화의 자연스러움을 해친다. 이 문제는 특히 복합적 의도와 부정(예: ‘하이브리드 말고’)을 동시에 파악해야 하는 자동차 딜러 통화에서 명확히 드러난다. 전통적 흐름은 입력 음성→STT→LLM 텍스트 처리→TTS 출력의 연쇄로 구성되며 이 과정에서 평균 3~5초의 응답 지연이 발생해 사용자 경험과 전환율에 부정적 영향을 미친다. 대규모 지점에서 실시간 음성 처리를 유지하려면 지연뿐 아니라 비용 통제도 필수적이라는 경제적 제약이 존재한다.
음성을 직접 입력으로 받아 이해·추론·생성까지 처리하는 native speech-to-speech 모델은 음성 신호의 비언어적 단서를 보존하면서 지연을 크게 줄이는 방식으로 작동한다. Loka는 Amazon Nova 2 Sonic을 통해 입력 오디오를 모델에 스트리밍으로 전달하고 내부에서 의미 추론을 거쳐 바로 음성 토큰을 생성하는 처리 파이프라인을 구현했다. 벤치마크 측정에서는 Big Bench Audio에서 Nova 2 Sonic이 speech reasoning 87.0을 기록했고 Time to First Audio는 1.39초로 보고되어 Gemini 2.5 Flash(71.0·3.87초)와 GPT Realtime(83.0·0.98초)과 비교되는 성능·지연 특성을 보여준다. 이 방식은 대화 중 사용자의 끼어들기(barge-in)를 자연스럽게 지원해 대화 흐름의 인간 유사성을 확보한다.
근거
- Amazon Nova 2 Sonic은 Big Bench Audio에서 speech reasoning 87.0을 기록했다. — 본문의 벤치마크 결과 및 Figure 1(음성 추론 점수 비교)
- Nova 2 Sonic의 Time to First Audio는 1.39초로 보고되어 대화 중 barge-in을 지원하는 수준의 낮은 지연을 제공한다. — 본문의 지연 측정치 및 Figure 2(최초 음성 출력 시간 비교)
- Nova 2 Sonic의 입력 오디오 기준 비용은 시간당 약 0.27달러로 제시되어 다른 실시간 모델 대비 비용 효율성이 높게 보고되었다. — 본문의 비용 비교 및 Figure 3(시간당 오디오 비용 비교)
프롬프트 엔지니어링을 코드처럼 반복해서 개선함으로써 모델 거동을 제어하고 대화 품질을 계량화된 지표로 향상시켰다. 초기에는 템플릿화된 프롬프트와 변수 삽입으로 딜러별 설정을 런타임에 주입하는 방식을 도입했고, 이후 도구 사용 규칙·오류 회복·응답 전 체크리스트 같은 구조적 헤딩과 구체 행동 예시를 추가해 프롬프트을 두 차례 이상 반복 개선했다. 그 결과 베이스라인에서 전체 Judge 점수는 2.7에서 Prompt v2로 3.8까지 상승했고 세부 항목 중 Completeness는 1.8에서 2.5로, 응답 적합성은 2.5에서 2.9로 향상되어 복잡한 요청의 완수율이 개선되었다. 이러한 절차는 프롬프트를 Amazon Bedrock Prompt Management에 버전화하고 IAM 기반 거버넌스로 운용함으로써 프로덕션 운영에서 재사용성과 감사 가능성을 확보했다.
근거
- 프롬프트 반복 개선으로 모델의 전체 Judge 점수는 초기 2.7에서 Prompt v2에서 3.8로 상승했고 세부 항목들이 전반적으로 개선되었다. — 프롬프트 개선 전후 표(Table 2)와 문단의 점수 변화 설명
프로덕션 배포를 위해서는 지연과 확장성, 상태 관리를 고려한 아키텍처 설계가 필요했다. Loka는 LiveKit을 WebRTC/SIP 전송 계층으로 사용하고 LiveKit Agent를 컨테이너화해 AWS Fargate와 Amazon ECS에서 독립적으로 스케일링하도록 구성했으며, 세션·룸 관리는 Amazon ElastiCache로, 영구 상태는 Amazon RDS로 처리해 데이터 지연을 최소화했다. 모델 호출은 Amazon Bedrock를 통해 Nova 2 Sonic에 연결되며 툴 호출은 Python 기반 함수가 GraphQL을 통해 백엔드와 연동하는 방식으로 동작해 음성 에이전트의 결정이 외부 시스템으로 즉시 반영되게 설계되었다. 관찰성은 Langfuse를 사용해 모든 의사결정과 툴 호출을 추적해 평가 파이프라인으로 피드백하는 루프를 마련했다.
현장 테스트에서 전체 평균 점수는 비교적 높았지만 특정 페르소나에서 약점이 드러났다. 긴 비구조적 발화를 하는 Chatty Customer와 Elderly Customer 시나리오에서는 Completeness와 Error Recovery 항목이 각각 2.5와 2.0으로 낮아 모델의 발화 구조화 능력과 회복 전략이 추가 개선 과제로 남았다. 이러한 결과는 모델 능력 외에 프롬프트 전략과 도구 연동, 대화 중 요약·정리 메커니즘 같은 보완 요소가 필요함을 시사하며 실제 운영에서는 계속된 A/B 테스트와 프롬프트 튜닝이 병행되어야 한다. 그럼에도 불구하고 평균 엣지케이스 점수가 4.0으로 보고되어 이미 여러 실제 시나리오에서 실용적 가치를 제공하고 있다.
용어 해설
- 음성-대-음성 모델(Speech-to-Speech)
- — 오디오 입력을 텍스트로 변환하지 않고 직접 이해와 생성까지 수행하는 모델 아키텍처로, 입력 음성을 인코딩해 내부에서 의미를 추론하고 바로 음성 출력을 생성함으로써 지연을 줄이고 억양·어조 같은 음성 신호의 정보를 보존한다.
- Big Bench Audio
- — 음성 입력에 대한 추론 능력을 측정하는 벤치마크로, 음성 데이터에서 의미를 추론해 답변·행동을 요구하는 문제들로 구성되어 모델의 음성 기반 reasoning 성능을 수치화한다.
- 최초 음성 출력 시간(Time to First Audio)
- — 사용자가 말한 후 모델이 처음 음성 토큰을 생성하여 들려줄 때까지 걸리는 시간으로, 대화의 자연스러움과 barge-in(대화 중 끼어들기) 가능성을 결정하는 핵심 지연(metric)이다.
- 프롬프트 템플릿(Prompt Template)
- — 반복 사용하는 지시문을 변수화해 재사용 가능하도록 만든 문자열 구조로, 서비스별 고유 정보를 런타임에 주입해 동일한 기본 지침을 여러 클라이언트에 일관되게 적용하고 거버넌스와 버전관리를 가능하게 한다.
- 중간 끼어들기(Barge-in)
- — 사용자가 에이전트의 발화 도중에 말을 끊고 입력할 때 시스템이 즉각 반응하는 동작으로, 낮은 지연과 스트리밍 음성 생성이 결합되어야 자연스러운 대화 흐름을 유지할 수 있다.
기술
- Amazon Nova 2 Sonic
- Amazon Bedrock
- LiveKit
- AWS Fargate
- Amazon ECS
- Amazon RDS
- Amazon ElastiCache
- Langfuse
- Python
- WebRTC
- SIP
활용 사례
- 자동차 딜러의 전화 상담 자동화
- 여행 상담과 일정 기획의 자연어 음성 인터페이스
- 교육용 튜터의 실시간 말투 적응형 학습 지원
- 의료 예약과 보험 질문을 포함한 복잡한 스케줄링
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 25.수집 2026. 06. 25.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
