DREAM: 에이전트 기반 메트릭을 활용한 심층 연구 평가 프레임워크

기존 AI 평가 방식은 보고서의 문장력만 보고 실제 사실 관계나 논리적 결함을 놓치는 '합성의 신기루' 현상에 취약하다. 이 논문은 평가자에게도 검색과 도구 사용 능력을 부여하는 '능력의 동등성' 원칙을 제안하여, 시간이 지나 쓸모없어진 정보나 교묘한 논리 오류를 정확히 식별한다.

Transformer 기반의 LLM은 문맥을 파악하고 유창한 글을 쓰는 데 능숙하지만, 학습 데이터에 없는 최신 사실이나 복잡한 논리적 연결을 검증하는 데는 한계가 있다. 특히 심층 연구 에이전트가 생성한 보고서는 수십 개의 인용구와 전문적인 용어로 가득 차 있어, 단순히 텍스트만 읽어서는 그 내용이 사실인지 혹은 논리적으로 타당한지 판단하기 어렵다. 이를 '합성의 신기루(Mirage of Synthesis)'라고 하며, 기존의 정적인 평가 방식으로는 해결할 수 없는 고질적인 문제였다.

DREAM은 이 문제를 해결하기 위해 '능력의 동등성(Capability Parity)'이라는 개념을 도입한다. 이는 평가를 수행하는 주체도 평가 대상과 마찬가지로 외부 정보를 검색하고 도구를 사용할 수 있는 '에이전트'여야 한다는 생각이다. 마치 시험 감독관이 수험생보다 더 넓은 지식과 자료 조사 능력을 갖춰야 정확한 채점이 가능한 것과 같은 원리다.

이 접근 방식을 통해 DREAM은 보고서의 문장력이 아니라 실제 정보의 정확성과 논리의 깊이를 파고든다. 에이전트 평가자는 보고서의 주장을 바탕으로 스스로 웹을 검색해 반대 증거를 찾아내거나, 최신 날짜를 기준으로 정보의 유효성을 검사한다. 이는 AI 연구의 신뢰성을 단순한 '느낌'이 아닌 '검증된 사실'의 영역으로 끌어올리는 중요한 전환점이 된다.

DREAM은 두 단계로 작동한다. 첫 번째는 '프로토콜 생성(Protocol Creation)' 단계로, 에이전트가 연구 쿼리를 분석하여 해당 주제에서 반드시 다뤄야 할 핵심 정보 체크리스트(KIC)와 논리적 검증 질문(RQ)을 동적으로 생성한다. 이때 에이전트는 웹 검색 도구를 사용하여 최신 지식을 반영한 평가 기준을 수립한다.

두 번째는 '프로토콜 실행(Protocol Execution)' 단계다. 생성된 메트릭의 특성에 따라 세 가지 유형의 평가자가 투입된다. 단순 판단은 LLM Evaluator가, 도구 사용이 필요한 논리 검증은 Agent Evaluator가, 인용문의 신뢰도와 사실 관계 확인은 Workflow Evaluator가 담당한다.

특히 사실성(Factuality) 검증 시 '중립적 쿼리 생성' 기법을 사용한다. 특정 주장에 대해 [주장의 핵심 키워드 추출 → 편향되지 않은 개방형 검색어 생성 → 웹 검색 도구 실행 → 수집된 증거와 대조] 순으로 연산하여, 모델이 자신의 주장을 뒷받침하는 증거만 찾는 확증 편향을 방지하고 반대 증거까지 꼼꼼히 살핀다.

최종 Factuality 점수 Ft는 [주장을 확인해주는 증거 개수 N_supp와 부분적으로 확인해주는 증거 개수 N_part에 0.5를 곱한 값을 더한 뒤] → [이를 전체 증거 개수(확인+반대)로 나누어] → [0에서 1 사이의 숫자를 얻고] → [이 숫자가 높을수록 보고서의 주장이 외부 사실과 일치함을 의미한다.]

시간적 민감도 분석에서 DREAM-KIC는 정보의 노후화에 따라 점수가 79.35점에서 22.34점(1년 전 지식 기준)으로 급격히 하락하며 민감하게 반응했다. 반면 기존 벤치마크인 DRB-RACE는 정보가 낡았음에도 점수 변화가 거의 없거나 오히려 상승하는 역설적인 모습을 보였다.

논리 결함 탐지 실험(Reasoning Flaws Detection)에서 DREAM-RQ는 의도적으로 주입된 논리적 오류를 식별하여 점수를 약 40% 삭감했다. 이는 기존 방식(RACE)이 약 9%의 점수 하락에 그치며 겉보기에 유창한 보고서에 높은 점수를 준 것과 대조적이다.

인간 평가와의 상관관계 분석 결과, DREAM이 생성한 평가 기준은 관련성(0.94), 명확성(0.92), 검증 가능성(0.91) 등 모든 지표에서 높은 점수를 기록하며 수동으로 작성된 평가 루브릭을 효과적으로 대체할 수 있음을 입증했다.

DREAM의 핵심은 '적응형 메트릭(Adaptive Metrics)'이다. 고정된 루브릭 대신, 각 연구 쿼리에 대해 Protocol Creation Agent(CodeAgent 기반)가 실시간으로 검색을 수행하여 KIC(Key-Information Coverage)와 RQ(Reasoning Quality) 항목을 생성한다.

인용 무결성(Citation Integrity)은 인용 귀속성(CA)과 인용 충실도(CF)의 조화 평균(Harmonic Mean)으로 계산된다. [인용 귀속성 점수 CA와 인용 충실도 점수 CF를 입력으로 하여] → [2 * CA * CF / (CA + CF) 연산을 수행해] → [하나의 통합된 점수를 산출하며] → [이는 에이전트가 인용을 얼마나 자주 하는지와 그 인용이 얼마나 정확한지를 동시에 고려한 수치다.]

도메인 권위도(Domain Authoritativeness) 평가는 인용된 URL의 루트 도메인을 추출하여 정부, 학술, 뉴스 등 신뢰할 수 있는 기관인지 LLM Judge가 1~10점 사이의 점수를 부여한다. 이를 통해 소셜 미디어나 검증되지 않은 블로그에 의존하는 보고서를 감점 처리한다.

외부 도구(검색 등)에 대한 의존도가 높아 서비스 가용성이나 검색 엔진의 편향성에 영향을 받을 수 있다. 또한 다단계 검증 과정에서 발생하는 지연 시간(Latency)과 API 비용이 정적인 평가 방식에 비해 높다는 점이 한계로 지목된다.