RAG 파이프라인에서 문서 버전 혼합 문제 해결을 위한 GraphRAG 도입 경험

커뮤니티 반응

대체로 긍정적이며, 많은 사용자가 유사한 경험을 공유했습니다.

01찬성다수

복잡한 문서 관계가 포함된 RAG 시스템에서는 벡터 검색보다 GraphRAG가 더 효과적이다.

RAG 파이프라인에서 similarity_search는 문서 간 관계를 이해하지 못해, 동일한 정책 문서의 구버전과 신버전을 구분하지 못하고 모두 검색하여 LLM이 답변을 혼합하는 문제가 발생했다.

메타데이터 필터링을 통해 문서에 'current', 'superseded', 'draft' 등의 상태를 태그하여 검색 시 필터링하는 방식을 1차적으로 적용했으나, 이는 문서 간의 복잡한 관계 추론이 필요한 질문을 해결하지 못했다.

GraphRAG를 도입하여 인덱싱 단계에서 엔티티와 관계를 추출하고, 문서 계층 구조와 버전 체인을 그래프 데이터로 저장함으로써 검색 시 벡터 인덱스가 아닌 그래프를 탐색하도록 구조를 변경했다.

GraphRAG는 엔티티 추출을 위해 청크마다 LLM 호출이 필요하여 인덱싱 비용이 높다는 단점이 있으며, 대규모 데이터셋에서는 증분 업데이트를 지원하는 LightRAG가 대안으로 제시되었다.

LangChain추천

RAG 파이프라인 구축

Neo4j추천

그래프 데이터 저장

NetworkX추천

그래프 구축

LangGraph추천

에이전트 기반 검색

graphrag추천

참조 구현

LightRAG추천

경량화 대안