AgentLens: 상용 수준 인터랙티브 코드 에이전트를 위한 트래젝토리 기반 평가 벤치마크

기존 코드 에이전트 벤치마크는 단일 성공/실패 비트로 결과를 축소해 에이전트의 행동 과정에서 일어나는 지시 이행, 도구 사용, 오류 복구 같은 중요한 정보를 반영하지 못했다. AgentLens는 전체 트래젝토리(실행 과정)를 평가 대상으로 삼아 형식적 검증과 LLM이 쓴 실행 리뷰를 결합함으로써 왜 점수가 그렇게 책정되었는지 읽을 수 있는 근거를 제공한다. 이 방식은 모델 순위 매김을 넘어 모델 행동 진단, 연속 버전 비교, 제품 회귀 탐지 같은 운영상 요구를 충족시키는 평가 파이프라인에 적합하다.

인터랙티브 코드 에이전트 평가의 시작점은 사용자가 경험하는 '과정' 자체가 핵심 관측치라는 점이다. 기존 벤치마크는 최종 산출물의 정답 여부만 확인해 과정에서 발생하는 도구 사용 패턴이나 중간 검증 행동을 무시했기 때문에 실무에서의 유용성이 제한됐다. AgentLens는 이 문제를 작업 수행의 연속적 행위들을 직접 측정 대상으로 삼는 것으로 해결했다. AgentLens의 해결 원리는 두 축의 결합에 있다. 첫째 축은 형식적 검증으로서, 자동으로 객관적 검사가 가능한 부분에 대해 명확한 pass/fail 신호를 생성한다. 둘째 축은 LLM이 작성한 트래젝토리 리뷰로서, 에이전트의 행동 맥락과 이유를 자연어로 기술해 점수의 해석 가능성을 제공한다. 이 두 축을 함께 제시하면 단순 정답 판정 이상의 진단적 통찰이 가능해진다. 이 접근은 평가의 활용도를 확장시킨다. 가독성 있는 점수 근거는 단순 리더보드 목적을 넘어서 모델 디버깅, 연속적 버전 비교, 야간 회귀 감지 같은 운영적 요구에 바로 연결된다. 따라서 에이전트 개발 주기에서 벤치마크가 품질 관리 도구로 기능하는 전환이 가능해졌다.

AgentLens는 각 실행을 트래젝토리 단위로 캡처해 평가할 때 형식적 검증과 LLM 기반 리뷰를 병행한다. 형식적 검증은 명세 기반이나 자동 검사 가능한 조건이 존재할 때 실행 결과를 기계적으로 평가해 객관적 점수를 제공한다. LLM 기반 리뷰는 동일 런의 행동을 서술하고 행동 사이의 인과나 판단 근거를 자연어로 기술해 점수의 해석 가능한 근거를 만든다. 런 단위로 수집된 형식적 검사 결과와 자연어 리뷰는 사이드 바이 사이드 비교 인터페이스로 정렬되어 서로 다른 모델 또는 버전의 행동 차이를 직관적으로 보여준다. 각 런에서 '왜 이 점수가 나왔는가'를 읽을 수 있게 만드는 것이 핵심 설계 원칙이었다. 이 결과물은 수동 검토나 자동화된 회귀 탐지 파이프라인에서 진단 입력으로 사용됐다.

논문의 기술적 핵심은 평가 대상을 단일 결과가 아닌 트래젝토리로 확장하고, 객관적 검사와 자연어 리뷰를 병합해 점수의 해석 가능성을 확보한 점이다. 형식적 검증은 명세나 자동화된 검사 기준이 존재하는 부분에 대해 기계적 판정을 제공하며, LLM 기반 트래젝토리 리뷰는 에이전트의 행동 흐름과 판단 근거를 서술해 점수 산출의 정성적 배경을 제공한다. 사이드 바이 사이드 비교 기능은 서로 다른 런을 정렬해 행동 차이를 시각적으로 확인할 수 있게 설계되어 있으며, 이 출력은 연속 통합 환경의 회귀 탐지 모듈로 연결되었다.