자기확증 트랩 탈출: 에이전트 경험 학습을 위한 Execute–Distill–Verify(EDV) 패러다임

왜 중요한가

단일 에이전트가 실행과 평가를 모두 담당할 때 내부적으로 일관된 오류가 메모리에 누적되어 이후 의사결정에 악영향을 끼친다. EDV는 실행, 증류, 검증을 역할 분리해 메모리에 기록되는 경험의 신뢰도를 높여 장기적 에이전트 성능을 개선한다.

핵심 기여

Self-Confirmation Trap의 식별 및 정형화

동일 정책이 실행과 자기평가를 모두 수행할 경우 잘못된지만 내부적으로 일관성이 있으면 P(v=1 | c=0)가 상승해 오류가 메모리에 축적된다는 실패 모드를 수식적·실험적으로 규정했다.

Execute–Distill–Verify(EDV) 파이프라인

Execute 단계에서 이기종 에이전트가 병렬로 궤적을 생성하고, Distill 단계에서 제3자 증류 에이전트가 교차비교로 후보 경험을 생성한 뒤, Verify 단계에서 실행 그룹의 합의투표로 검증해 공유/개인 메모리에만 승인된 경험을 적재하는 역할 분리형 파이프라인을 구성했다.

경험 품질·하위구성 요소 기여도의 실증

τ^2-bench, Mind2Web, MMTB에서 EDV가 일관된 성능 향상을 보였고, 사람 평가에서 Groundedness·Actionability·Specificity 점수가 유의하게 개선되며 Noise/Hallucination가 감소함을 확인했다. Ability Matrix와 메모리 계층의 개별 기여도도 정량적으로 측정했다.

오염된 메모리의 실험적 해악 입증

Reasoning Bank에 일관성 있는 오류 경험을 10% 주입하는 실험에서 RETAIL 도메인의 Pass@1이 82.5에서 77.2로 급락해, 잘못된 경험의 장기적 재사용 위험을 실험적으로 입증했다.

핵심 아이디어 이해하기

기본 출발점은 경험 학습이 과거 실행(trajectory)을 구조화된 경험으로 변환해 외부 메모리에 저장하고, 이를 미래 의사결정에 재활용함으로써 에이전트의 장기적 성능을 향상하는 점이다. 단일 에이전트 루프는 실행과 평가가 동일한 관점에서 이루어져, 내부 일관성만 갖춘 잘못된 궤적이 유통되면 메모리에 잘못된 신호가 누적된다. 이 현상은 수학적으로 P(v=1 | c=0)의 상승으로 표현된다.

방법론

EDV는 명확한 역할 분리를 기반으로 두 단계(경험 구성 단계와 추론 시 사용 단계)로 작동한다. 경험 구성 단계는 Execute, Distill, Verify의 세 하위 단계로 구성된다. Execute 단계에서는 이기종 에이전트 풀 𝒜에서 임의 샘플링한 실행 그룹 𝒜_exec가 동일한 작업 q에 대해 각각 π_i(·|q)를 실행해 후보 궤적 τ_i를 생성한다. 이 과정의 목적은 단일 관점이 놓치는 실패/성공 패턴을 노출해 궤적 다양성을 확보하는 것이다.

주요 결과

메인 벤치마크 결과에서 EDV는 τ^2-bench의 평균 Pass@1 86.6을 기록해 Router(83.5)와 Judge(81.5)를 상회했다(Table 1). MMTB에서는 전체 점수 58.10으로 Router(55.96) 대비 우위였다(Table 3). Mind2Web의 cross-task/cross-website/cross-domain 설정에서도 EA, AF1, SSR, SR 등 여러 지표에서 일관된 개선을 보였다(Table 2).

기술 상세

아키텍처는 이기종 에이전트 풀 𝒜 = {A1,...,AK}, Ability Matrix, 공유/개인 메모리로 구성된다. 경험 구성 단계에서 매 작업마다 실행 그룹 𝒜_exec(보통 랜덤으로 샘플된 2개 모델)과 별도의 증류자 A_distill(랜덤 선출)을 사용한다. 증류자는 교차 궤적 비교를 수행해 후보 경험 ℰ_cand를 생성한다. 각 후보 경험 e에 대해 실행자들은 이진 판단 V_j(e)∈{0,1}을 제공하며, 만장일치(모두 1)면 공유 메모리에, 일부 승인 시 해당 실행자의 개인 메모리에, 승인 부족 시 폐기한다.

한계점

논문에서 언급된 한계로는 제3자 증류 에이전트의 인지적 한계가 남아 있어 완전한 오류 제거가 어렵다는 점이 있다. 이 때문에 Verify 단계에서 합의투표(unanimous approval)를 추가해 잔여 오류를 필터링하는 보완책을 사용했다.

실무 활용

EDV는 경험 구성 단계를 오프라인 병렬화해 운영 시 추론 부담을 추가하지 않으면서 메모리 품질을 개선한다. 논문은 코드 공개 링크를 제공해(https://github.com/shidingz/EDV) 실무 적용 가능성을 확보했다.

고객 서비스·콜센터 자동화: 제약 조건이 복잡한 장기 이슈 해결에서 검증된 경험을 재사용해 오류 재발을 줄임
웹 자동화·스크래핑 에이전트: 서로 다른 웹 환경 대응 경험을 검증·계층화해 일반화된 행동 지침으로 저장
멀티툴 작업 플로우: 도구 조합이 많은 작업에서 개인화된 private memory와 공유된 전략을 병행해 효율성 향상

코드 공개 여부: 공개

코드 저장소 보기

키워드

EDV(Execute–Distill–Verify 프레임워크)Self-Confirmation Trap(자기확증 트랩)Experience Learning(에이전트 경험 학습)Heterogeneous Agent(이기종 에이전트)Shared/Private Memory(공유/개인 메모리)Ability Matrix(Ability Matrix)τ^2-bench(τ^2-bench)

용어 해설

경험 학습(Experience Learning): — 에이전트가 과거의 상호작용(trajectory)에서 재사용 가능한 지식(경험)을 추출해 외부 메모리에 저장하고 이후 의사결정에서 재활용하는 패러다임이다. 본문에서는 실행 결과를 요약해 장기 메모리에 적재함으로써 에이전트의 연속적 자기개선(self-evolution)을 가능하게 하는 핵심 메커니즘으로 사용된다.
자기확증 트랩(Self-Confirmation Trap): — 동일한 에이전트가 실행과 평가를 모두 수행할 때 잘못된지만 내부적으로 일관된 궤적이 성공으로 오인되어 메모리에 기록되고 이후 재사용을 통해 오류가 누적되는 실패 모드이다. 본문에서는 P(v=1 | c=0)의 상승으로 표현되며, 경험 신뢰도 저하의 주원인으로 규정된다.
Ability Matrix: — 각 에이전트(또는 모델)가 어떤 유형의 작업에서 강한지를 기록한 행렬형 통계 테이블이다. 새로운 작업이 들어오면 이 행렬을 기준으로 적절한 솔버를 선택하고, 실험에서는 task-solver 매칭 성능 향상에 사용된다.
공유/개인 메모리 뱅크(Shared/Private Memory): — 검증 수준에 따라 경험을 저장하는 계층적 메모리 구조로, 만장일치로 승인된 경험은 공유 메모리에, 일부 실행자만 승인한 경험은 해당 에이전트의 개인 메모리에 저장된다. 이 구조는 재사용성과 개인화의 균형을 제공한다.