Dust Engineering Night #9: ElevenLabs, OpenAI, Dust의 차세대 AI 에이전트 전략

• •자연스러운 대화를 위해 1~2초 이내의 초저지연 응답 속도 확보
• •사용자의 중단(Interruption)을 감지하고 대응하는 지능형 턴 테이킹 제어
• •90개 이상의 언어 지원 및 실시간 다국어 전환 기능 구현

ASR(음성 인식), LLM(언어 모델), TTS(음성 합성)가 결합된 구조에서 각 단계의 연산 속도가 전체 대화의 자연스러움을 좌우한다.

• •단순 텍스트 응답을 넘어 지도, 카드 등 시각적 UI를 제공하는 앱 SDK 출시
• •MCP 표준을 활용하여 다양한 외부 데이터 소스와 에이전트를 안전하게 연결
• •에이전트가 사용자 인증(Auth)을 처리하고 동적으로 도구를 발견하는 구조 설계

MCP는 서로 다른 데이터 소스와 AI 모델 간의 통신 규약을 표준화하여 통합 비용을 낮추는 역할을 한다.

• •수동 설정 없이 에이전트가 스스로 데이터 소스를 탐색하는 자율성 부여
• •Unix 명령어(ls, find, cat 등)를 추상화한 도구 세트로 데이터 접근 표준화
• •런타임에 필요한 도구만 동적으로 활성화하여 컨텍스트 효율성 극대화

기존 에이전트는 모든 도구와 데이터를 미리 정의해야 했으나, Configless 방식은 에이전트에게 탐색 권한을 주어 자율성을 높인다.

window.openai = {
  readOptions: () => {},
  getContext: () => {},
  callTool: (toolName, args) => {},
  pushUpdate: (data) => {}
};