CalVerT: 보정된 검증기 텔레메트리로 에이전트의 행동과 학습 성능 향상

왜 중요한가

LLM 기반 에이전트는 언제 추가 검색을 해야 할지, 언제 현재 답안으로 확정(commit)할지 판단하기 어렵다. CalVerT는 턴 단위로 보정된 신뢰도와 그라운딩 점수를 제공해 불필요한 재검색을 줄이고 필요한 경우 검색을 유도해 정확도와 비용 효율을 동시에 개선한다.

핵심 기여

Verifier telemetry 설계: 신뢰도와 그라운딩을 동시 노출

턴 단위로 네 개의 스칼라를 에이전트 상태에 추가한다: DiNCo로 산출한 normalized verbal confidence (nvc)와 self-consistency(sc), 그리고 Bespoke-MiniCheck-7B로 계산한 per-claim grounding의 mean(g_mean)과 min(g_min). 이들 값을 프롬프트에 자연어로 프레임화해 에이전트가 임계값 없이 직접 고려하도록 했다.

프롬프트 기반(무학습) 적용성 검증

동결된(generator) 에이전트의 프롬프트에 telemetry를 삽입하는 방식으로 다수의 QA 프레임워크(Self-Ask, TARG, SUGAR, Verify-and-Edit, SeaKR)에 신호를 이식했고, 프레임워크 교체만으로 F1을 개선하거나 불필요한 행동을 감소시켰다.

학습 기반 정책 향상: GRPO와 LoRA 결합

GRPO 보상 구조와 LoRA(rank=16) 어댑터를 사용한 훈련에서, 동일한 훈련 조건에서 telemetry를 상태에 포함한 에이전트가 포함하지 않은 에이전트보다 높은 성능을 달성했다(예: Qwen3-8B에서 +5.9% F1 향상).

다중 실패 모드 균형: 과신(parametric over-trust)과 과도한 재검색(over-retrieval) 완화

Telemetry는 신뢰도 신호로 과도한 commit 경향을 억제하고, 그라운딩 신호로 증거 부족을 감지해 targeted retrieval 또는 refine를 유도함으로써 두 가지 상반된 실패 모드를 동시에 줄였다.

실험적 성과 및 이식성

프롬프트-only 설정에서 TARG에 대해 F1 +15.4%, SeaKR에 대해 +7.8% 등 최대 +15.4%의 개선을 보고했고, 다섯 개 프레임워크에 걸쳐 신호 재사용이 가능함을 입증했다. 코드 및 구현은 GitHub(https://github.com/ashwinn-v/CalVerT)에 공개되었다.

핵심 아이디어 이해하기

출발점과 기존 한계: LLM 에이전트는 반복적으로 retrieve/reflect/refine/commit하는 루프에서 동작하며, 각 턴에서 현재 증거가 답안을 충분히 지지하는지 또는 모델이 자신의 답에 대한 신뢰를 가지는지 모른다. 이로 인해 두 가지 실패 모드가 발생한다: (1) parametric over-trust — 모델이 내부 파라메트릭 지식에 과도히 의존해 근거 없는 확신으로 commit하는 경우, (2) over-retrieval — 이미 충분한 증거가 있음에도 불필요하게 추가 검색을 수행해 비용과 지연이 늘어나는 경우.

방법론

전체 접근 방식과 핵심 흐름: CalVerT는 ReAct 스타일 에이전트 루프에 턴 단위 텔레메트리 신호를 추가한다. 플래너가 질의 q를 서브골(subgoal) DAG G로 분해하면, 에이전트는 각 서브골에 대해 증거 풀 E와 후보 답안 빔 C를 생성하고 네 가지 행동 {commit, retrieve, refine, decompose} 중 하나를 선택한다. 각 턴에서 (nvc, sc, g_mean, g_min)의 네 스칼라가 프롬프트에 포함되어 에이전트의 결정에 입력된다.

주요 결과

메인 벤치마크 결과: 프롬프트 기반(동결 generator) 실험에서 CalVerT(+tel)는 다중-홉 데이터셋과 단일 홉 WiTQA에서 F1을 유지하거나 개선하면서 행동 수(turns/ex)를 줄였고, 프레임워크 단위 포팅 실험에서는 TARG에서 F1 +15.4%, SeaKR에서 +7.8% 등 최대 +15.4% 개선을 달성했다(HotpotQA, Qwen3-32B 기준).

기술 상세

전체 아키텍처 구조: 에이전트 루프는 플래너(질문 분해), 생성기(generator, candidate-answer beam C 생성), 검색기(retriever, BM25 + cross-encoder for WiTQA), verifier(Bespoke-MiniCheck-7B), 그리고 composer로 구성된다. 텔레메트리 네 값(nvc, sc, g_mean, g_min)은 각 턴의 상태에 자연어 프레임과 함께 주입된다.

한계점

본문에 명시된 한계: CalVerT의 commit 중심 행동 어휘 때문에 단일 정답을 요하는 multi-hop QA에는 적합하지만, 모든 관련 항목을 포함해야 하는 answer recall 작업에서는 실패 가능성이 있다. 이 한계는 텔레메트리 자체가 아니라 commit 중심 정책 설계에서 기인한다고 명시된다.

실무 활용

CalVerT는 기존 에이전트 파이프라인에 학습 없이도 프롬프트 수준에서 텔레메트리 입력을 추가해 즉시 개선 효과를 낼 수 있다. 코드와 구현은 공개되어 있어 실무 파이프라인에 통합 가능하다.

대화형 QA 시스템에서 불필요한 문서 재검색을 줄여 응답 지연과 API 비용을 절감
검색 증강 파이프라인(RAG 등)에서 근거화(grounding)를 강화해 사실적 정확성 확보
강화학습으로 정책을 튜닝할 때 상태 표현에 텔레메트리를 포함해 샘플 효율적으로 행동 정책 학습
다중-홉 질문 해결 워크플로에서 targeted retrieval 전략으로 정확도 향상

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM agents(대형 언어 모델 에이전트)knowledge-intensive QA(지식 집약형 질문응답)retrieval(검색)grounding verifier(근거 검증기)calibrated confidence(보정된 신뢰도)reinforcement learning(강화학습)

용어 해설

보정된 신뢰도(Calibrated confidence): — 모델의 언어적 응답(예/아니오 등)을 정량화해 0~1 범위로 표준화한 값이다. 본문에서는 DiNCo를 통해 'Is this answer correct? Yes/No' 프롬프트와 self-consistency 샘플링을 결합해 산출하며, 에이전트가 현재 답안에 얼마나 의존할지를 결정하는 입력으로 사용된다.
그라운딩 검증기(Grounding verifier): — 후보 답안의 개별 claim이 검색된 증거 집합과 논리적으로 일치하는지를 점수화하는 모델이다. 본문에서는 Bespoke-MiniCheck-7B가 각 claim에 대해 entailment 점수를 매기고 평균(g_mean)과 최솟값(g_min)을 제공해 약한 고리를 탐지한다.
검증기 텔레메트리(Verifier telemetry): — 에이전트의 상태에 추가로 노출되는 턴 단위 측정 신호 집합이다. 본문에서는 calibrated verbal confidence (nvc, sc)와 grounding scores (g_mean, g_min) 네 개의 스칼라로 구성되어 에이전트의 retrieve/refine/commit 결정을 유도한다.
자기일관성 비율(Self-consistency): — 동일 프롬프트로 여러 샘플을 생성했을 때 가장 빈번한 응답이 차지하는 비율이다. 입력: N개의 샘플 → 계산: 최빈 응답의 개수/ N → 결과: 0~1 사이의 비율(sc)로, 높은 값은 답안의 생성 안정성을 의미한다.
Low-Rank Adaptation(LoRA): — 사전학습된 모델의 전체 가중치를 업데이트하지 않고 저순위 행렬을 학습해 파라미터 효율적으로 적응시키는 기법이다. 본문에서는 GRPO 훈련 시 LoRA(rank=16)를 에이전트 정책에 적용해 효율적으로 파인튜닝했다.