챕터별 상세
00:52
세션 개요 및 주제 소개
Dust 팀의 Gianna, Léna, Okal이 참여하여 AI 에이전트 운영의 두 가지 핵심 과제를 다룬다. 첫 번째는 에이전트 함대의 ROI 및 생산성 향상을 측정하는 방법이며, 두 번째는 사용자 감성, 이슈, 기능 요청을 추적하는 방법이다.
01:40
네이티브 피드백 기능을 통한 사용자 감성 추적
Dust 플랫폼에 내장된 'Thumbs Up/Down' 기능을 활용해 사용자 피드백을 수집하는 방식을 시연했다. 사용자가 긍정 또는 부정 피드백을 남길 때 구체적인 코멘트를 추가할 수 있으며, 이는 관리자 대시보드의 분석 리포트에서 정성적 데이터로 확인 가능하다. 또한 워크스페이스 사용량 분석을 통해 에이전트별 활성 사용자 수와 메시지 볼륨을 추적했다.
07:10
피드백 문화 및 지속적 개선 루프 구축
도구 도입을 넘어 조직 내 피드백 문화를 조성하기 위한 'The Loop' 전략을 제시했다. 전용 슬랙 채널을 운영하여 사용자와 빌더 간의 소통 창구를 단일화하고, 각 에이전트마다 책임자인 'Agent Owner'를 지정하여 품질을 관리했다. 30일 단위의 정기적인 리뷰 리듬을 설정하여 수집된 신호를 바탕으로 에이전트를 수정하고 재배포하는 순환 구조를 확립했다.
08:54
에이전트를 활용한 피드백 분석 자동화
대량의 피드백 데이터를 효율적으로 처리하기 위해 'Feedback Digest Agent'를 구축하는 사례를 소개했다. 이 에이전트는 슬랙 채널이나 설문 결과를 분석하여 주요 이슈 3가지를 요약하고 개선 방향을 제안한다. 또한 제품 피드백 분석 에이전트를 통해 통화 녹취록이나 지원 티켓에서 정성적 트렌드를 추출하여 제품 로드맵에 반영하는 워크플로를 설명했다.
10:27
Dust 로드맵: Sidekick과 성능 평가 도구
에이전트 빌더를 지원하기 위해 출시 예정인 신규 기능들을 공개했다. 자연어로 에이전트 지침 작성을 돕는 'Sidekick', 사용자 대화를 바탕으로 합성 데이터셋을 생성하고 성능을 모니터링하는 'Reinforced Agents', LLM을 판정관으로 활용해 품질을 측정하는 'Evalz'가 포함된다. 특히 Sidekick은 유사한 에이전트의 존재 여부를 체크하여 중복 제작을 방지하는 기능을 갖췄다.
15:08
AI ROI 측정을 위한 4대 KPI 프레임워크
AI 도입 성과를 측정하기 위한 다각적 지표 체계를 설명했다. 채택률(Adoption, MAU/WAU), 참여 깊이(Engagement Depth, 사용자당 메시지 수), 생산성 영향(Productivity Impact, 절감 시간), 비즈니스 결과(Business Outcomes, 지원 티켓 편향률 등)의 4가지 차원으로 구성된다. 특히 성숙한 조직의 경우 에이전트를 통해 지원 티켓의 20-40%를 자동 처리하는 성과를 보였다.
24:28
Dust의 시간 절감 기반 ROI 계산 모델
에이전트 상호작용의 복잡도에 따라 절감 시간을 차등 할당하는 정량적 계산 방식을 제안했다. 단순 질의(Basic)는 3분, 개인 도구 활용(Personal)은 10분, 기업 데이터 검색(Company Data)은 15분, 고급 워크플로 자동화(Advanced)는 30분의 절감 시간을 각각 배정한다. 이를 통해 전체 메시지 수와 카테고리별 가중치를 곱하여 총 절감 시간과 비용적 가치를 산출하는 자동화된 리포팅 구조를 구축했다.
30:09
ROI 모델의 한계와 실무 적용 단계
제시된 ROI 모델이 완벽하지 않음을 인정하며 몇 가지 한계점을 공유했다. 모든 메시지가 동일한 가치를 지니지 않으며, API 사용량이 볼륨을 부풀릴 수 있다는 점을 지적했다. 이를 보완하기 위해 보수적인 수치를 적용하고 정성적 피드백을 병행할 것을 권장했다. 실무 적용을 위해 자체 카테고리 정의, 사용량 데이터 추적, ROI 공식 수립, 정성적 데이터 검증의 4단계를 제시했다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 17.수집 2026. 03. 17.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
