챕터별 상세
ElevenLabs: 자연스러운 대화형 음성 에이전트의 조건
대화형 음성 AI의 품질을 결정하는 네 가지 핵심 요소로 초저지연(Latency), 자연스러운 흐름(Flow), 목소리 품질(Voice), 에이전트 능력(Agentic Capability)을 정의했다. 특히 지연 시간을 1~2초 이내로 단축하기 위해 ASR, LLM, TTS의 전체 파이프라인을 최적화했으며, 사용자의 말을 가로막거나 기다려야 할 때를 구분하는 턴 테이킹 제어 기술을 적용했다. ElevenLabs의 플랫폼은 90개 이상의 언어를 지원하며, 다국어 대화 중에도 실시간으로 언어를 전환하는 기능을 시연했다.
ASR(음성 인식), LLM(언어 모델), TTS(음성 합성)가 결합된 구조에서 각 단계의 연산 속도가 전체 대화의 자연스러움을 좌우한다.
OpenAI: MCP와 ChatGPT 앱 SDK를 통한 도구의 진화
에이전트가 단순한 도구 호출(Tool Calling)을 넘어 풍부한 UI를 가진 '앱'으로 진화하고 있음을 강조하며 ChatGPT 앱 SDK를 소개했다. MCP(Model Context Protocol)를 통해 에이전트가 외부 데이터 소스에 접근하는 방식을 표준화했으며, 이를 통해 Zillow나 Expedia 같은 서비스가 ChatGPT 내에서 지도나 카드 형태의 인터페이스를 직접 렌더링할 수 있게 했다. 개발자는 MCP 서버를 구축하고 SDK의 window.openai 객체를 사용하여 에이전트의 상태를 읽거나 도구를 실행하는 인터페이스를 구현했다.
MCP는 서로 다른 데이터 소스와 AI 모델 간의 통신 규약을 표준화하여 통합 비용을 낮추는 역할을 한다.
Dust: 설정 지옥을 해결하는 Configless 에이전트
에이전트 구축 시 데이터 소스와 도구를 일일이 지정해야 하는 수동 설정의 번거로움을 해결하기 위해 'Configless' 패러다임을 제안했다. 에이전트에게 Unix 파일 시스템 명령어와 유사한 ls(목록), find(검색), cat(읽기) 등의 도구를 부여하여, 에이전트가 스스로 데이터 구조를 탐색하고 필요한 정보를 찾도록 설계했다. 이러한 방식은 에이전트가 새로운 데이터 소스나 도구가 추가되어도 별도의 재설정 없이 즉시 활용할 수 있게 하며, 컨텍스트 윈도우를 효율적으로 관리하는 효과를 거두었다.
기존 에이전트는 모든 도구와 데이터를 미리 정의해야 했으나, Configless 방식은 에이전트에게 탐색 권한을 주어 자율성을 높인다.
javascript
window.openai = {
readOptions: () => {},
getContext: () => {},
callTool: (toolName, args) => {},
pushUpdate: (data) => {}
};ChatGPT 앱 SDK에서 제공하는 브라우저 윈도우 객체를 통한 에이전트 제어 인터페이스 예시
용어 해설
- 모델 컨텍스트 프로토콜(MCP)
- — AI 모델이 로컬 또는 원격의 데이터 소스 및 도구와 안전하고 표준화된 방식으로 연결될 수 있도록 돕는 오픈 소스 프로토콜이다. 에이전트가 복잡한 통합 과정 없이 다양한 데이터베이스나 파일 시스템에 접근할 수 있게 하여 개발 효율성을 극대화한다.
- 지연 시간(Latency)
- — 시스템에 입력을 보낸 후 결과가 출력될 때까지 걸리는 시간이다. 대화형 음성 AI에서는 사용자의 말이 끝난 후 AI의 응답이 시작되기까지의 간격을 의미하며, 자연스러운 대화를 위해 1~2초 이내의 초저지연 달성이 필수적이다.
- 차례 바꾸기(Turn-taking)
- — 대화 참여자들이 서로 말을 주고받는 타이밍을 조절하는 메커니즘이다. AI 에이전트가 사용자의 말을 가로막지 않아야 할 때와 대화에 끼어들어야 할 때를 정확히 판단하는 기술로, 대화의 자연스러움을 결정하는 핵심 요소이다.
- 설정 최소화(Configless)
- — 사용자가 에이전트의 작동 방식이나 데이터 소스를 일일이 수동으로 설정하지 않아도 되는 접근 방식이다. 에이전트가 주어진 환경을 스스로 탐색하고 필요한 도구를 발견하여 실행하는 자율성을 강조하며, 에이전트 구축 비용과 복잡성을 획기적으로 낮춘다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 17.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
