에이전트 아키텍처의 전환: 단일 구조에서 다중 에이전트 체인으로

실용적 조언

디버깅이 어렵다면 에이전트를 Router, Retriever, Responder, Validator로 분리해라.
과거 대화 기록은 요약 에이전트를 통해 압축하여 토큰을 절약해라.
프롬프트를 수정하기 전에 반드시 입출력 로그를 확인할 수 있는 대시보드부터 구축해라.

섹션별 상세

모든 기능을 수행하던 단일 에이전트를 라우터, 검색기, 응답기, 검증기의 4가지 전문 에이전트로 분리했다. 각 단계별로 입력값을 처리하고 다음 단계로 넘기는 체인 구조를 통해 실패 지점을 명확히 식별할 수 있게 되었다. 이 구조 변경을 통해 기존에 수 시간 소요되던 디버깅 시간을 수 분 단위로 단축하는 성과를 거두었다.

과도한 토큰 비용과 문맥 혼동 문제를 해결하기 위해 컨텍스트 윈도우 관리 전략을 도입했다. 요약 전용 에이전트가 과거 대화 내용을 2-3문장으로 압축하여 주입하고, 최신 메시지 5개만 원문으로 유지하는 방식을 사용했다. 결과적으로 토큰 비용을 약 60% 절감했으며 멀티턴 대화의 정확도를 크게 향상시켰다.

에이전트가 모르는 질문에 대해 추측하는 대신 명확히 거절하고 사람에게 에스컬레이션하도록 설계했다. 확신이 없는 상태에서 잘못된 정보를 제공하는 것보다 모른다고 답변하는 것이 사용자 신뢰 유지에 더 효과적임을 확인했다. 이러한 '거절 경로' 설계는 실제 서비스 운영에서 사용자 신뢰도를 높이는 핵심 요소로 작용했다.

프롬프트 튜닝에 앞서 입력, 출력, 지연 시간, 신뢰도 점수를 모니터링할 수 있는 대시보드를 먼저 구축했다. 결정론적 소프트웨어와 달리 확률적으로 동작하는 AI 시스템의 특성을 고려하여 관측 가능성을 확보하는 것이 우선이다. 데이터 기반의 가시성 확보 없이 진행하는 최적화는 자원 낭비가 될 가능성이 높다는 점이 강조됐다.

용어 해설

단일 구조 에이전트(Monolithic Agent): — 하나의 에이전트가 의도 파악, 데이터 검색, 응답 작성 등 모든 작업을 한꺼번에 수행하는 구조이다. 시스템이 복잡해질수록 오류 발생 지점을 파악하기 어렵고 디버깅 효율이 급격히 떨어진다는 단점이 있다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리할 수 있는 텍스트 정보의 양을 의미한다. 불필요한 과거 정보를 모두 포함하면 토큰 비용이 상승하고 모델이 핵심 정보를 놓치는 현상이 발생하므로 효율적인 관리가 필수적이다.
관측 가능성(Observability): — 시스템 내부의 상태를 외부 지표(로그, 지연 시간, 신뢰도 점수 등)를 통해 파악할 수 있는 능력을 뜻한다. 확률적으로 동작하는 AI 시스템에서 성능 최적화 이전에 반드시 구축해야 하는 필수 인프라이다.