에이전틱 RAG 시스템에 대한 피드백을 구합니다

실용적 조언

사용자 인증과 문서 소유권 필터링을 통해 RAG 시스템의 데이터 보안을 강화할 수 있다.
시맨틱 캐시를 도입하여 반복되는 쿼리에 대한 응답 속도를 높이고 API 비용을 절감할 수 있다.

섹션별 상세

시스템은 단순한 질의응답을 넘어 사용자 인증과 문서 소유권 기반의 검색 기능을 구현했다. FastAPI와 SQLAlchemy를 사용하여 사용자별로 문서 접근 권한을 제어하며, 이를 통해 서로 다른 사용자 간의 데이터 유출을 방지하는 구조를 갖췄다. 실제 운영 환경에서 멀티테넌시를 지원하기 위한 필수적인 설계 요소로 평가받는다.

검색 프로세스에 에이전트 루프와 도구 호출 방식을 도입했다. 검색기를 하나의 도구로 정의하여 에이전트가 필요에 따라 호출하며, 쿼리 정제와 시맨틱 캐시를 통해 응답의 정확도와 효율성을 높였다. 이는 고정된 검색 흐름보다 복잡한 사용자 의도를 파악하는 데 유리한 방식이다.

성능 최적화를 위해 플러그인 방식의 임베딩과 선택적 리랭킹 기능을 포함했다. OpenAI 또는 Hugging Face 임베딩을 선택적으로 사용할 수 있으며, Cohere 리랭커를 통해 검색 결과의 순위를 재조정하여 최종 응답 품질을 개선한다. 검색 결과의 상위 K개 문서에 대한 관련성을 극대화하는 실무적인 접근법이다.

시스템의 신뢰성을 확보하기 위해 실행 이력 관리와 케이스 조사가 가능한 평가 파이프라인을 구축했다. 질문 답변과 평가 실행을 위한 자체 UI를 제공하며, 전체 환경은 Docker를 통해 손쉽게 배포 및 재현이 가능하도록 구성했다. 개발 단계부터 프로덕션 배포까지의 워크플로우를 고려한 통합 솔루션의 형태를 띠고 있다.

용어 해설

에이전틱 RAG(Agentic RAG): — LLM이 단순히 문서를 검색하는 것을 넘어, 스스로 도구를 선택하고 쿼리를 수정하며 다단계 추론을 통해 답을 찾는 방식이다. 단순 검색보다 복잡한 질문에 유연하게 대응할 수 있어 고도화된 RAG 시스템의 핵심 기술로 꼽힌다.
시맨틱 캐시(Semantic Cache): — 사용자의 질문과 유사한 과거 질문의 결과를 벡터 유사도 기반으로 찾아 즉시 반환하는 기술이다. 동일하거나 유사한 질문에 대해 LLM 호출 없이 빠르게 응답하여 비용을 절감하고 지연 시간을 줄이는 데 중요하다.
리랭킹(Reranking): — 1차 검색된 문서 후보군을 더 정밀한 모델을 사용하여 다시 순위를 매기는 과정이다. 검색 정확도를 높이기 위해 Cohere와 같은 외부 리랭커를 도입하여 사용자 질문과 가장 관련성 높은 문서를 상단에 배치한다.
pgvector: — PostgreSQL 데이터베이스에서 벡터 데이터를 저장하고 유사도 검색을 수행할 수 있게 해주는 확장 기능이다. 기존 관계형 데이터베이스의 안정성과 벡터 검색 기능을 동시에 활용할 수 있어 엔터프라이즈 환경에서 선호된다.

언급된 도구

FastAPI추천

웹 프레임워크 및 API 서버 구축

Chroma추천

벡터 데이터 저장 및 관리

Cohere추천

검색 결과 리랭킹(Reranker)

pgvector추천

Postgres 기반 벡터 검색 확장

언급된 리소스

GitHubAgentic RAG System GitHub Repository