작성자는 LLM 기반 RAG 시스템에서 약한 검색 결과가 모델을 맥락 밖으로 이끌어 자신감 있는 잘못된 응답을 낳았던 경험을 공유했다.

작성자는 RAG 기반 시스템에서 검색이 약할 때 모델이 반환된 문서 조각을 바탕으로 빈칸을 채워 자신감 있는 잘못된 답변을 만든 실제 사례를 공유했다. 문제의 핵심은 검색이 모델에 컨텍스트만 제공할 뿐 모델이 그 컨텍스트를 벗어나 추론할 수 있다는 점이었다. 이후 팀은 검색 결과가 약하면 시스템이 모른다고 응답하도록 정책을 바꾸고, 사용자에게 응답을 돌려주기 전 해당 응답이 검색된 문서들로 실질적으로 뒷받침되는지 검증하도록 절차를 추가했다. 이 경험은 의료·금융·법률 등 고비용 오류가 발생하는 분야에서 검색 약화 실패 모드를 사전에 시험하고 근거 검증을 설계해야 함을 보여주었다.