서바이버 데이터 49개 시즌을 활용한 RAG, GraphRAG 및 에이전트 루프 비교 구현

커뮤니티 반응

작성자의 실험 결과에 대해 긍정적인 반응이며, 특히 에이전트 루프의 구성 방식에 대한 관심이 높습니다.

주요 논점

01찬성다수

복합 질의 해결을 위해서는 단순 검색보다 에이전트 기반의 반복 루프가 필수적이다.

합의점 vs 논쟁점

합의점

단일 샷 Text-to-Cypher는 복잡한 질문에서 쉽게 깨진다.
비판(Critic) 프로세스가 답변의 완결성을 높이는 데 핵심적인 역할을 한다.

실용적 조언

복합 질문 처리가 필요한 경우 질문을 하위 단위로 쪼개는 Rewriter를 도입하라.
답변이 생성된 후 Critic 에이전트를 통해 질문의 요구사항이 모두 충족되었는지 반드시 검증하라.

섹션별 상세

작성자는 GraphRAG가 가장 큰 성능 차이를 만들 것으로 예상했으나 실제 복합 질의에서는 한계를 보였다. Text-to-Cypher 방식은 단일 질문에는 효과적이었으나 '최다 우승자와 그들의 출전 횟수'와 같은 복합적인 질문에서는 쿼리 생성 오류가 발생했다. 이는 그래프 구조만으로는 복잡한 논리적 결합이 필요한 질의를 처리하기 어렵다는 점을 시사한다.

성능의 실질적인 돌파구는 에이전트 루프를 도입했을 때 나타났다. 시스템은 질문 재작성기(Rewriter), Cypher 도구와 자유 생성 중 선택하는 라우터(Router), 답변의 완결성을 검토하는 비판기(Critic)로 구성되어 작동한다. 비판기가 답변이 불충분하다고 판단하면 후속 작업을 실행하는 반복 구조를 통해 복합 질의의 정확도를 높였다.

실험 결과 단순한 검색 아키텍처보다 에이전트 기반의 워크플로우 설계가 실무적 가치가 더 높음이 확인됐다. 작성자는 깃허브 저장소를 통해 구현 코드를 공유하며 커뮤니티의 피드백을 요청했다. 이는 고정된 검색 방식보다 LLM의 추론 능력을 활용한 동적 루프가 복잡한 데이터셋 처리에 더 유연하다는 합의를 이끌어냈다.

용어 해설

그래프 검색 증강 생성(GraphRAG): — 지식 그래프의 구조적 데이터를 활용하여 LLM의 답변 정확도를 높이는 기술이다. 엔티티 간의 관계를 명시적으로 정의하여 단순 텍스트 검색보다 복잡한 연결 정보를 파악하는 데 유리하다.
텍스트-투-사이퍼(Text-to-Cypher): — 자연어 질문을 그래프 데이터베이스 질의 언어인 Cypher 쿼리로 변환하는 기술이다. 사용자가 직접 쿼리를 작성하지 않아도 그래프 DB에서 필요한 정보를 추출할 수 있게 돕는다.
에이전트 루프(Agentic Loop): — LLM이 스스로 계획을 세우고 도구를 사용하며 결과를 검토하는 반복적인 실행 구조이다. 단발성 응답의 한계를 넘어 복합적인 문제를 해결하기 위해 재작성, 라우팅, 비판 과정을 거친다.

언급된 도구

Text-to-Cypher중립

자연어를 그래프 DB 쿼리로 변환

언급된 리소스

GitHubsurvivor-graph-rag GitHub Repository