RAG, GraphRAG, CKG 벤치마크: 다단계 추론에서 정형 구조의 압도적 성능

실용적 조언

복잡한 의존 관계가 포함된 문서를 다룰 때는 FAISS 기반 검색 대신 데이터를 DAG 구조로 먼저 변환하여 관리하라.
비용 절감이 시급한 프로젝트라면 검색 결과의 정밀도를 높여 LLM에 전달되는 컨텍스트 토큰 양을 줄이는 CKG 방식을 고려하라.

섹션별 상세

기존 RAG와 GraphRAG는 다단계 추론(Multi-hop) 작업에서 성능 한계를 보였다. FAISS와 Claude를 조합한 RAG는 F1 점수 0.123, Microsoft의 GraphRAG는 0.120을 기록하며 복잡한 의존성 체인 파악에 어려움을 겪었다. 특히 RAG 방식은 검색 단계(hop)가 2단계를 넘어가면 성능이 정체되거나 오히려 저하되는 현상이 관찰됐다.

사전 구조화된 DAG 형태인 CKG는 다단계 질의에서 압도적인 효율성을 입증했다. CKG는 F1 점수 0.471을 기록하여 기존 방식보다 약 4배 높은 정확도를 보였으며, 질의당 토큰 소모량은 269토큰으로 RAG(2,982토큰)의 1/10 수준에 불과했다. 검색 깊이가 깊어질수록 성능이 향상되어 5단계 검색 시 F1 점수가 0.772까지 상승하는 선형적 개선이 확인됐다.

구조화 작업의 자동화 가능성과 도메인 확장성이 검증됐다. 전문가의 큐레이션 없이 ClinicalTrials.gov API를 통해 한 번의 세션으로 구축한 제약 도메인(GLP-1) 테스트에서 F1 점수 0.530을 달성했다. 이는 시스템의 성능이 수동적인 데이터 정제 노력보다 데이터 간의 구조적 신호를 얼마나 잘 포착하느냐에 달려 있음을 시사한다.

용어 해설

정형 지식 그래프(CKG): — 사전에 구조화된 유향 비순환 그래프(DAG) 형태의 지식 베이스이다. 데이터 간의 명시적인 관계를 미리 정의하여 복잡한 다단계 추론 시 검색 정확도를 높이고 토큰 소모를 줄이는 역할을 한다.
F1 점수(F1 Score): — 정밀도와 재현율의 조화 평균으로 모델의 예측 성능을 나타내는 지표이다. 본 벤치마크에서는 검색된 정보의 정확성과 포괄성을 동시에 평가하는 핵심 성능 수치로 사용됐다.
멀티홉 질의(Multi-hop Query): — 단일 문서 검색으로 해결되지 않고 여러 정보 간의 연결 고리를 따라가며 답을 찾아야 하는 복잡한 질문이다. 의존성 체인이나 카테고리 집계 등 구조적 이해가 필요한 작업에 해당한다.
모델 컨텍스트 프로토콜(MCP): — AI 모델이 외부 데이터 소스나 도구와 표준화된 방식으로 통신하기 위한 프로토콜이다. 여기서는 CKG 시스템을 다른 AI 도구와 연결하기 위한 서버 구현체로 언급됐다.

코드 예제

bash

pip install ckg-mcp

CKG 시스템을 MCP 서버로 설치하는 명령어

언급된 도구

FAISS중립

벡터 유사도 검색 엔진

GraphRAG중립

그래프 기반 검색 증강 생성 프레임워크

ckg-mcp추천

CKG 시스템 연동을 위한 MCP 서버

언급된 리소스

DemoCKG Live Demo

GitHubCKG Benchmark GitHub