Agentic CLEAR: LLM 에이전트의 다층 평가 자동화

에이전트형 시스템의 자율성이 증가함에 따라 행동을 감독하고 평가하는 도구의 필요성이 커졌다. 기존 도구는 제한적이고 정적 분류에 의존하는 경향이 있어 새로운 도메인에 신속히 적응하기 어렵다. Agentic CLEAR는 트레이스 단위까지 텍스트 기반의 진단을 자동으로 생성하고, 시스템-노드-트레이스 차원의 인사이트를 제공한다.

출발점: 에이전트 시스템은 다수의 노드로 구성되며, 각 노드는 입력-출력 쌍을 통해 단계적으로 의사결정을 수행한다. 기존의 정적 오류 분류는 도메인 간차이가 큰 상황에서 적합하지 않을 수 있다. 해결 원리: 전체 실행 흐름을 트레이스로 보고, 각 단계에 대해 LLM 판단자 Js를 통해 단계 수준의 질 평가를 얻고, tn 전체에 대해 Jt로 트레이스 수준의 평가를 얻는다. 또한 Jr가 제시한 task rubric를 Jv가 평가하도록 하여, 트레이스의 성공 여부를 래핑한다. Aggregation 단계에서 CLEAR를 적용해 각 노드(Inode)별 반복 패턴과 전체 시스템(Isys) 패턴을 추출한다. 결과적으로 시스템-노드-트레이스의 다층 인사이트를 텍스트로 제공해, 에이전트 개발자가 문제의 원인과 재현 경로를 이해하도록 돕는다.

단계 1: 실행 및 Granular 평가

• tn ← Execute(A, xn) 로 실행 트레이스를 생성한다. 트레이스는 { (ik, ok, ak) }의 시퀀스로 구성된다.
• 각 k에 대해 c_node_nk ← Js(ik, ok) 를 산출하고 Φnode[ak]에 누적한다.
• 트레이스 단위의 평가로 c_trace_n ← Jt(tn) 를 얻고, rn ← Jr(xn) 로 작품별 기준을 생성한 뒤, c_rubric_n ← Jv(tn, rn) 를 얻어 Φsys에 추가한다.
• Etrace[n] ← { c_trace_n, c_rubric_n, { c_node_nk } } 단계 2: CLEAR를 이용한 집계
• Inode[a] ← CLEAR(Φnode[a]) 로 노드별 재발 패턴을 추출
• Isys ← CLEAR(Φsys) 로 시스템 전반 패턴을 추출
• 최종적으로 Isys, Inode, Etrace를 반환한다. 알고리즘 1은 위 흐름을 구체적으로 정의하며, 각 입력에 대해 점수와 근거 텍스트를 산출하는 프롬프트를 사용한다. 프롬프트 설계는 Js/Jt/Jr/Jv 각각의 모드에 맞춘 구체화를 포함한다. Ground-truth가 있을 경우 추가 인사이트와 예측 패턴도 함께 산출한다.

주요 결과는 다음과 같다. 195개의 트레이스-레벨 이슈가 7개의 트레이스 데이터셋에 걸쳐 발견되었고, Universal 패턴으로는 비효율적 도구 사용, 충분치 않은 오류 처리, 불완전한 워크플로우, 출력 포맷 불일치 등의 공통 패턴이 나타났다. 도메인별 차이로 GAIA에서는 소스 검증 미흡, SWE-Bench에서는 패치 출력의 문제 등이 확인되었다. Backbone 모델의 차이에 따라 GPT-5가, OSS-120B에 비해 더 미세하고 도메인-특정한 이슈를 포착하는 경향이 있었다. Judge 선택은 동일 행동에 대해 다른 진단을 낼 수 있으며, GPT-5는 더 자세하고 도메인-특정한 실패 모드를 제시하는 경향이 있다. 표준화된 오류 분류(TRAIL)로 매핑 시, GPT-5 이슈는 12개 영역 중 12개 카테고리에 매핑되었고, OSS-120B는 12/10 영역에 매핑되었다. Table 2에서 GPT-5의 macro-F1은 0.459, micro-F1은 0.497로 가장 높은 성능을 보였다. Random, Always top-4, OSS-120B(full), OSS-120B(full+partial) 대비 GPT-5(full+partial)에서 안정적 개선이 관찰된다. Table 3의 AUC 결과에서는 GPT-5가 OSS-120B를 상회하며, AppWorld 벤치에서 Step-Wise 0.823, Trace 0.890, Rubric 0.828 등比较적 수치를 보인다. AppWorld 이외 벤치에서도 GPT-5가 대체로 우수한 예측력을 보였고, τ2-Bench의 예측력은 상대적으로 낮았다. 이 결과들은 Agentic CLEAR의 다층 평가가 벤치마크 간, 에이전트 구성 간에 보편적으로 작동하며, 트레이스의 성공 예측에서도 유용한 신호를 제공함을 시사한다.

아키텍처: 데이터셋 D = {x_n}, 에이전트 A, 트레이스 T = {t_n}은 n별로 { (i_k, o_k, a_k) }의 시퀀스로 구성된다. 단계별 평가 Js, 트레이스 평가 Jt, 루브릭 생성 Jr, 루브릭 평가 Jv를 통해 각 트레이스에 c_node, c_trace, c_rubric를 생성하고 Etrace[n]에 저장한다. 이후 CLEAR를 통해 노드별 Φnode[a]를 Inode로, 시스템 전반의 Φsys를 Isys로 요약한다. 파이프라인은 LangFuse 포맷의 트레이스를 입력으로 사용하고, YAML 구성을 통해 CLI로 실행된다. PROMPT 구성은 각 judge에 맞춘 별도 프롬프트를 사용하며, ground-truth가 있을 경우 추가적인 인사이트를 제공한다. 구현은 PyPI 패키지로 제공되며, 인터랙티브 대시보드를 CLI를 통해 실행한다.