RAG 에이전트의 검색 공백으로 인한 할루시네이션 진단 및 블라인드 평가 워크플로

커뮤니티 반응

작성자가 직접 구축한 오픈소스 평가 도구와 구체적인 실험 방법론에 대해 실무적인 관심이 높으며, 특히 RAG의 고질적인 문제인 '자신감 있는 오답'을 측정하는 방식에 긍정적인 반응이다.

주요 논점

01찬성다수

RAG 에이전트의 신뢰성을 위해서는 검색 공백 상황에서의 블라인드 테스트와 다중 모델 평가가 필수적이다

합의점 vs 논쟁점

합의점

단순히 프롬프트를 수정하는 것보다 시스템적인 평가 루프를 구축하는 것이 RAG 개선에 더 중요하다
LLM 판사를 활용할 때는 모델 간의 계보를 고려하여 편향을 제거해야 한다

실용적 조언

RAG 평가 시 판사 모델로 Anthropic 모델을 썼다면 생성 모델은 DeepSeek나 OpenAI 모델을 사용하여 교차 검증하라
모델이 '모른다'고 답해야 할 상황을 강제하기 위해 '증거의 부재는 부재의 증거가 아니다'라는 지시어를 시스템 프롬프트나 외부 하네스에 포함하라

섹션별 상세

RAG 에이전트가 검색된 문서 내에 답이 없을 때 '모른다'고 답하는 대신 패턴 매칭을 통해 그럴듯한 오답을 생성하는 현상이 확인됐다. 지중해 식단 메뉴를 기반으로 한 테스트에서 '견과류 알레르기' 질문에 대해 메뉴에 언급이 없다는 이유만으로 안전하다고 확신하며 답변하는 위험한 실패 사례가 발생했다. 이는 모델이 기본적으로 '도움이 되어야 한다'는 훈련을 받았기 때문에 발생하는 구조적인 검색 공백 문제이다.

이러한 문제를 정량화하기 위해 두 개의 동일한 에이전트(대조군과 실험군)를 병렬로 실행하고 결과를 익명화하여 비교하는 블라인드 평가 아키텍처를 설계했다. 실험군에만 런타임 추론 하네스인 Ejentum을 연결하여 변수를 통제하고, 두 응답을 코드 노드에서 익명화한 뒤 원본 검색 청크와 함께 판사들에게 전달한다. 이 과정에서 판사들은 어떤 응답이 도구를 사용했는지 알 수 없는 상태로 증거 기반의 평가를 수행한다.

평가의 객관성을 확보하기 위해 Kimi K2, Sonnet 3.7, MiniMax 2.5, DeepSeek V4 Flash 등 서로 다른 제조사의 모델 4개를 판사로 기용했다. 특정 모델군에 편향되지 않도록 교차 검증 설계를 적용했으며, 각 판사는 인용 정확성, 근거 기반성, 불확실성 하에서의 정직성 등 5가지 차원의 루브릭을 적용해 JSON 형식으로 점수를 반환한다. 최종 통계는 LLM이 아닌 결정론적 코드 로직으로 집계하여 수치 조작 가능성을 차단했다.

markdown

Amplify: absence of evidence is not evidence of absence acknowledgment.
Suppress: confident denial without exhaustive check; definitive negation from absence of knowledge.

검색 공백 상황에서 모델의 할루시네이션을 억제하기 위해 외부 하네스가 주입하는 지시어 예시

실제 5개의 고난도 질문으로 테스트한 결과, 알레르기 안전성 질문에서 4명의 판사 중 3명이 하네스를 적용한 에이전트가 더 안전한 선택이라고 평가했다. 하네스가 적용된 에이전트는 '증거의 부재가 부재의 증거는 아니다'라는 원칙을 적용하여 메뉴에서 확인할 수 없는 정보에 대해 인증을 거부했다. 반면 기본 에이전트는 언급이 없다는 사실을 근거로 안전 리스트를 생성하는 오류를 범했다.

용어 해설

검색 공백(Retrieval Gap): — RAG 시스템에서 사용자의 질문에 답변하기 위해 필요한 정보가 검색된 문서(Chunk) 내에 존재하지 않는 상태이다. 모델이 검색된 정보가 없음에도 불구하고 훈련된 '도움이 되는 태도' 때문에 허위 정보를 생성하는 할루시네이션의 주요 원인이 된다.
블라인드 평가(Blind Evaluation): — 평가자가 어떤 모델의 답변인지 모르는 상태에서 익명화된 결과를 비교하여 점수를 매기는 방식이다. 특정 모델에 대한 편향을 제거하고 객관적인 성능 비교를 가능하게 하며, 주로 여러 LLM을 판사로 사용하는 'LLM-as-a-Judge' 기법과 결합된다.
교차 모델군 판사(Cross-family Judge): — 평가 대상 모델과 서로 다른 제조사나 아키텍처를 가진 모델을 판사로 기용하는 전략이다. 동일한 모델군을 판사로 쓸 때 발생하는 자기 편향(Self-preference bias)을 방지하여 평가의 공정성과 신뢰도를 높이는 데 필수적이다.
결정론적 집계기(Deterministic Aggregator): — LLM의 추론 대신 정해진 코드 로직을 통해 여러 판사의 점수를 합산하고 통계를 산출하는 모듈이다. 최종 결과 보고서 작성 시 LLM이 통계 수치를 임의로 조작하거나 날조하는 것을 방지하여 데이터의 무결성을 보장한다.

언급된 도구

Qdrant중립

벡터 데이터베이스 저장 및 검색

Ejentum추천

런타임 추론 제어 및 할루시네이션 억제 하네스

n8n추천

워크플로 자동화 및 평가 파이프라인 구축

언급된 리소스

GitHubRAG Blind Eval Repo

문서Reference Findings & Raw Data