SaaS 고객 지원 에이전트의 오작동 해결을 위한 피드백 레이어 구축 사례

커뮤니티 반응

작성자의 실전적인 접근 방식에 대해 긍정적인 반응이 예상되며, 특히 기존 관측 도구의 한계를 명확히 짚어낸 점에 공감하는 분위기이다.

주요 논점

01찬성다수

단순한 관측을 넘어 실제 비즈니스 결과(해결 여부)를 모델의 의사결정에 직접 피드백하는 구조가 에이전트 성능 개선의 핵심이다.

합의점 vs 논쟁점

합의점

LangSmith나 Datadog 같은 도구만으로는 에이전트의 논리적 타당성을 완벽히 평가할 수 없다.
작업 유형별로 액션의 성공률을 정량화하는 것이 에이전트 최적화에 효과적이다.

실용적 조언

에이전트 운영 시 '작업 유형(Task Type)', '수행 액션(Action)', '해결 여부(Resolution)' 세 가지 필드를 반드시 로그로 남길 것
성공률 데이터가 부족한 초기 단계에서는 기본 모델의 판단을 따르되, 데이터가 쌓인 후에는 과거 점수를 우선순위에 둘 것

섹션별 상세

작성자는 에이전트가 계정 잠금 이슈에 환불 프로세스를 시도하는 등 부적절한 액션을 반복적으로 선택하는 문제를 제기했다. LangSmith나 Datadog 같은 기존 도구는 트레이스와 지연 시간은 보여주지만 의사결정의 정답 여부는 판단하지 못한다는 한계를 지적했다. 이를 해결하기 위해 작업 유형, 수행된 액션, 실제 해결 여부라는 세 가지 핵심 필드를 기록하는 피드백 레이어를 별도로 구축했다.

구축된 시스템은 과거 데이터를 기반으로 특정 작업 유형에 대한 액션별 성공률을 계산하여 의사결정에 활용한다. 예를 들어 '환불 전송' 액션이 '결제 이슈'에서 91%의 성공률을 보인 반면, '티켓 에스컬레이션'이 '비밀번호 재설정'에서 23%의 낮은 성공률을 보인 데이터를 정량화했다. 에이전트는 실행 전 자신의 과거 기록을 확인하여 가장 점수가 높은 액션을 선택하며, 데이터가 부족할 경우 기본 모델의 판단에 맡기거나 개입을 중단한다.

피드백 시스템 도입 후 에이전트의 올바른 액션 선택률은 기존 약 70%에서 92%로 크게 향상되었다. 스스로 해결 가능한 티켓을 상담원에게 넘기는 불필요한 에스컬레이션이 눈에 띄게 감소했으며, 매 결과가 다음 결정에 반영되면서 동일한 실수를 반복하지 않는 구조가 형성됐다. 특히 데이터가 쌓일수록 성능이 복리로 개선되어 특정 작업 유형에 대해 100회 정도의 실행 데이터가 확보되면 추천의 신뢰도가 매우 높아짐이 확인됐다.

언급된 도구

LangSmith중립

LLM 애플리케이션 트레이싱 및 디버깅

Datadog중립

시스템 레이턴시 및 인프라 모니터링