지식베이스가 연결된 음성 에이전트가 최신 KB를 무시하고 모델 지식으로 응답하던 사례와 근본 수정 방법

이 사례는 구성 실수로 인한 대규모 영향 사례로 받아들여졌으며 비슷한 구조를 쓰는 팀들에서 공감과 우려가 나오고 있다. 다수의 실무자는 에이전트당 단일 KB 툴 제약과 명시적 정렬 부재를 설계적 위험으로 지적했고, 빈 반환을 감지해 대체 KB를 선택하거나 오류를 노출하는 방식을 권장했다. 일부는 플랫폼 한계로 인해 우회적 해결책을 마련해야 한다고 언급했고, 이 과정에서 로그·모니터링 강화와 재동기화 자동화가 실용적 조치로 제시되었다.

• 데이터베이스 쿼리에 명시적 정렬(orderBy)을 추가해 최신의 완료된 KB가 우선 반환되도록 하고, 조인 결과에서 아카이브·삭제 플래그를 필터링해야 한다.
• 리트리버가 빈 리스트를 반환하면 이를 단순 폴백으로 처리하지 말고 대체 KB 선택 로직을 트리거하거나 실패 상태로 로그와 경고를 남기도록 파이프라인을 수정해야 한다.
• 에이전트 연결 시 관련 KB의 'completed sources' 상태를 확인해 완료된 소스가 있는 KB만 연결하거나, 연결 전 재동기화(sync) 후 상태를 검증하는 절차를 도입해야 한다.

리트리버(Retriever)

— 지식베이스에서 관련 문서를 검색해 모델에 컨텍스트로 제공하는 컴포넌트로, 쿼리를 입력받아 인덱싱된 소스에서 유사도 기반으로 결과를 반환한다. 이 글 맥락에서는 에이전트에 연결된 단일 툴로 동작하며 반환 결과가 빈 리스트인지 여부가 downstream 응답에 직접 영향을 미쳤다. 리트리버의 선택 기준과 빈 결과 처리 방식이 잘못 설계되면 최신 KB가 무시되는 문제가 발생한다.

지식베이스(Knowledge Base)

— 문서·소스의 집합을 의미하며 각 소스의 동기화 상태와 'completed source' 여부가 검색 가능성을 결정한다. 이 글에서는 복수의 KB가 존재하지만 에이전트당 하나의 KB 툴만 허용되어 잘못된 인덱스 선택 시 최신의 완료된 소스를 포함한 KB를 참조하지 못했다. KB의 메타데이터(생성일, 아카이브·삭제 플래그, 완료된 소스 유무)를 활용해 우선순위를 정하는 작업이 문제 해결의 핵심이었다.

정렬 기준(Order By)

— 데이터베이스 쿼리에서 반환되는 레코드의 우선순위를 결정하는 파라미터로, 기본값이 없으면 DB가 내부적으로 임의 또는 생성순으로 결과를 돌려줄 수 있다. 본 사례에서는 orderBy가 지정되지 않아 index 0이 가장 오래된 레코드를 가리켰고, 그 KB가 아카이브되거나 완료된 소스가 없으면 리트리버가 빈 결과를 반환했다. 명시적 정렬 기준을 두면 최신의 완료된 KB를 선택해 잘못된 폴백을 방지할 수 있다.