Agentic CLEAR: LLM 에이전트의 다층 평가 자동화

에이전트형 시스템의 자율성이 증가함에 따라 행동을 감독하고 평가하는 도구의 필요성이 커졌다. 기존 도구는 제한적이고 정적 분류에 의존하는 경향이 있어 새로운 도메인에 신속히 적응하기 어렵다. Agentic CLEAR는 트레이스 단위까지 텍스트 기반의 진단을 자동으로 생성하고, 시스템-노드-트레이스 차원의 인사이트를 제공한다.

왜 중요한가

핵심 기여

다이나믹 평가 방법론

자동적이고 다단계의 평가 인사이트를 제시하는 방법을 도입한다. 트레이스 단위의 평가에서 시작해 시스템 전체의 패턴까지 확장하며, 미리 정의된 고정된 오류 분류에 의존하지 않는다.

오픈 소스 패키지

PyPI 패키지 형태로 쉽게 설치하고 YAML 구성으로 엔드투엔드 평가 파이프라인을 실행할 수 있다. 트레이스 형식은 OpenTelemetry/LangFuse 호환 포맷을 사용하며 인터랙티브 대시보드를 제공한다.

경험적 검증

다양한 벤치마크와 에이전트 구성에서 작동을 시연하고 인간 주석 오류와의 정렬성 및 작업 성공 예측력 등을 입증한다.

핵심 아이디어 이해하기

출발점: 에이전트 시스템은 다수의 노드로 구성되며, 각 노드는 입력-출력 쌍을 통해 단계적으로 의사결정을 수행한다. 기존의 정적 오류 분류는 도메인 간차이가 큰 상황에서 적합하지 않을 수 있다. 해결 원리: 전체 실행 흐름을 트레이스로 보고, 각 단계에 대해 LLM 판단자 Js를 통해 단계 수준의 질 평가를 얻고, tn 전체에 대해 Jt로 트레이스 수준의 평가를 얻는다. 또한 Jr가 제시한 task rubric를 Jv가 평가하도록 하여, 트레이스의 성공 여부를 래핑한다. Aggregation 단계에서 CLEAR를 적용해 각 노드(Inode)별 반복 패턴과 전체 시스템(Isys) 패턴을 추출한다. 결과적으로 시스템-노드-트레이스의 다층 인사이트를 텍스트로 제공해, 에이전트 개발자가 문제의 원인과 재현 경로를 이해하도록 돕는다.

방법론

단계 1: 실행 및 Granular 평가

tn ← Execute(A, xn) 로 실행 트레이스를 생성한다. 트레이스는 { (ik, ok, ak) }의 시퀀스로 구성된다.
각 k에 대해 c_node_nk ← Js(ik, ok) 를 산출하고 Φnode[ak]에 누적한다.
트레이스 단위의 평가로 c_trace_n ← Jt(tn) 를 얻고, rn ← Jr(xn) 로 작품별 기준을 생성한 뒤, c_rubric_n ← Jv(tn, rn) 를 얻어 Φsys에 추가한다.
Etrace[n] ← { c_trace_n, c_rubric_n, { c_node_nk } } 단계 2: CLEAR를 이용한 집계
Inode[a] ← CLEAR(Φnode[a]) 로 노드별 재발 패턴을 추출
Isys ← CLEAR(Φsys) 로 시스템 전반 패턴을 추출
최종적으로 Isys, Inode, Etrace를 반환한다. 알고리즘 1은 위 흐름을 구체적으로 정의하며, 각 입력에 대해 점수와 근거 텍스트를 산출하는 프롬프트를 사용한다. 프롬프트 설계는 Js/Jt/Jr/Jv 각각의 모드에 맞춘 구체화를 포함한다. Ground-truth가 있을 경우 추가 인사이트와 예측 패턴도 함께 산출한다.

주요 결과

주요 결과는 다음과 같다. 195개의 트레이스-레벨 이슈가 7개의 트레이스 데이터셋에 걸쳐 발견되었고, Universal 패턴으로는 비효율적 도구 사용, 충분치 않은 오류 처리, 불완전한 워크플로우, 출력 포맷 불일치 등의 공통 패턴이 나타났다. 도메인별 차이로 GAIA에서는 소스 검증 미흡, SWE-Bench에서는 패치 출력의 문제 등이 확인되었다. Backbone 모델의 차이에 따라 GPT-5가, OSS-120B에 비해 더 미세하고 도메인-특정한 이슈를 포착하는 경향이 있었다. Judge 선택은 동일 행동에 대해 다른 진단을 낼 수 있으며, GPT-5는 더 자세하고 도메인-특정한 실패 모드를 제시하는 경향이 있다. 표준화된 오류 분류(TRAIL)로 매핑 시, GPT-5 이슈는 12개 영역 중 12개 카테고리에 매핑되었고, OSS-120B는 12/10 영역에 매핑되었다. Table 2에서 GPT-5의 macro-F1은 0.459, micro-F1은 0.497로 가장 높은 성능을 보였다. Random, Always top-4, OSS-120B(full), OSS-120B(full+partial) 대비 GPT-5(full+partial)에서 안정적 개선이 관찰된다. Table 3의 AUC 결과에서는 GPT-5가 OSS-120B를 상회하며, AppWorld 벤치에서 Step-Wise 0.823, Trace 0.890, Rubric 0.828 등比较적 수치를 보인다. AppWorld 이외 벤치에서도 GPT-5가 대체로 우수한 예측력을 보였고, τ2-Bench의 예측력은 상대적으로 낮았다. 이 결과들은 Agentic CLEAR의 다층 평가가 벤치마크 간, 에이전트 구성 간에 보편적으로 작동하며, 트레이스의 성공 예측에서도 유용한 신호를 제공함을 시사한다.

기술 상세

아키텍처: 데이터셋 D = {x_n}, 에이전트 A, 트레이스 T = {t_n}은 n별로 { (i_k, o_k, a_k) }의 시퀀스로 구성된다. 단계별 평가 Js, 트레이스 평가 Jt, 루브릭 생성 Jr, 루브릭 평가 Jv를 통해 각 트레이스에 c_node, c_trace, c_rubric를 생성하고 Etrace[n]에 저장한다. 이후 CLEAR를 통해 노드별 Φnode[a]를 Inode로, 시스템 전반의 Φsys를 Isys로 요약한다. 파이프라인은 LangFuse 포맷의 트레이스를 입력으로 사용하고, YAML 구성을 통해 CLI로 실행된다. PROMPT 구성은 각 judge에 맞춘 별도 프롬프트를 사용하며, ground-truth가 있을 경우 추가적인 인사이트를 제공한다. 구현은 PyPI 패키지로 제공되며, 인터랙티브 대시보드를 CLI를 통해 실행한다.

실무 활용

Agentic CLEAR의 자동 평가 도구를 통해 에이전트 파이프라인의 실행 경로를 빠르게 파악하고 개선한다.

에이전트 디버깅 및 성능 저하 원인 분석
벤치마크 간 비교를 통한 평가 일관성 확보
리그레이드/리타겟링 과정에서의 문제 추적 및 재현성 향상
팀 간 협업을 위한 자동 리포트 생성

코드 공개 여부: 공개

코드 저장소 보기

키워드

Agentic CLEARLLM 에이전트 평가다층 평가trace 분석system-node-trace동적 평가

용어 해설

CLEAR(LLM-판단자에 의한 오류 분석)(CLEAR): — LLM을 평가 판단자로 활용하여 에러를 분석하는 프레임워크로, 다층 평가를 통해 시스템-노드-트레이스 차원의 인사이트를 생성하고 재현 가능하게 진단한다.
TRAIL(Trace Reasoning and Agentic Issue Localization)(TRAIL): — TRAIL은 실행 추적에 기반한 오류 분류 체계로, 추론, 계획, 시스템 실행 실패를 포함하는 계층적 taxonomy를 제공한다.
LangFuse: — LLM 애플리케이션의 실행 추적 및 평가를 위한 관찰성 프레임워크이다.

Agentic CLEAR: LLM 에이전트의 다층 평가 자동화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

에이전트 실행 Trace를 결정적으로 검사하는 Linter

AI 에이전트의 신뢰도를 높이는 실전 평가 방법론.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

에이전트 실행 Trace를 결정적으로 검사하는 Linter

AI 에이전트의 신뢰도를 높이는 실전 평가 방법론.