LongCLI-Bench: 명령줄 인터페이스에서의 장기적 에이전트 프로그래밍을 위한 예비 벤치마크 및 연구

기존 코딩 벤치마크의 한계인 데이터 오염과 짧은 작업 범위를 극복하고, 실제 소프트웨어 개발 환경과 유사한 복잡한 장기 과제 수행 능력을 정밀하게 측정한다. 실험을 통해 현재 에이전트의 병목이 실행력보다 전략적 계획 수립에 있음을 밝히고 인간-에이전트 협업의 중요성을 제시한다.

Transformer 아키텍처는 Attention 메커니즘을 통해 입력 시퀀스 내 토큰 간의 관계를 파악하지만, 실제 소프트웨어 개발은 수천 개의 파일과 복잡한 의존성이 얽혀 있어 단일 컨텍스트 윈도우 내에서 모든 정보를 처리하기 어렵다. 기존 벤치마크는 짧은 코드 조각에 집중하여 이러한 장기적 문맥 유지 능력을 제대로 평가하지 못하는 한계가 있었다. LongCLI-Bench는 에이전트가 명령줄 인터페이스(CLI) 환경에서 수십 단계의 상호작용을 거쳐야 하는 과제를 부여한다. 에이전트는 각 단계에서 실행 결과를 관찰하고 이를 바탕으로 다음 행동을 결정하는 루프를 수행해야 하며, 이는 에이전트가 단순히 코드를 생성하는 것을 넘어 환경의 상태 변화를 추적하고 복잡한 요구사항 체인을 관리해야 함을 의미한다. 이 접근 방식은 에이전트가 초기 계획을 얼마나 견고하게 세우는지, 그리고 실행 중 발생하는 오류를 어떻게 진단하고 수정하는지를 단계별 점수로 정밀하게 측정하여 에이전트 지능의 한계 지점을 구체적으로 확인하게 해준다.

데이터 구축 단계에서는 108개 코스의 958개 컴퓨터 과학 과제와 50개의 실제 워크플로우를 수집했다. Codex를 이용해 자동 해결이 가능한 쉬운 과제를 제거하고 인간 전문가의 검토를 거쳐 20개의 고난도 과제를 최종 선정했다. 모든 과제는 Docker 컨테이너 내에서 실행되어 외부 환경의 간섭을 차단하고 재현성을 보장한다. 평가를 위해 두 가지 단계별 점수 지표를 사용한다. F2P Step Score는 [성공한 세부 요구사항 수 n]을 [전체 요구사항 수 N]으로 나누어 계산하며, 이는 에이전트가 목표 기능을 얼마나 완수했는지 나타내는 진행률 지표가 된다. P2P Step Score는 [통과한 기존 기능 테스트 수 m]을 [전체 기존 기능 테스트 수 M]으로 나누어 계산하며, 이는 에이전트의 수정이 기존 시스템에 의도치 않은 오류를 일으키지 않았는지 나타내는 안정성 지표로 활용된다.

Claude Code(Claude-Opus-4.6 기반)와 Codex를 포함한 모든 최신 에이전트 시스템이 20% 미만의 성공률을 기록했다. 가장 높은 성능을 보인 Claude-Opus-4.6도 16.7%에 그쳤으며, 단계별 분석 결과 대부분의 실패가 작업 진행률 30% 미만의 초기 단계에서 발생하는 것으로 나타났다. 이는 에이전트가 복잡한 과제의 초기 계획 수립 및 환경 파악 단계에서 이미 치명적인 오류를 범하고 있음을 시사한다. 반면 인간-에이전트 협업 실험에서 정적 계획 주입은 Claude Code의 성공률을 16.7%에서 58.3%로 크게 향상시켰다. 이는 현재 에이전트의 가장 큰 병목 현상이 단순한 코딩 실행력보다는 전체적인 문제를 구조화하고 순서를 정하는 전략적 계획 수립 능력에 있음을 입증한다.

벤치마크 아키텍처는 Initial Repo, Task Requirement, Environment, Solution Repo, Tests의 5가지 핵심 요소로 구성된다. From Scratch, Feature Addition, Bug Fix, Refactor의 4가지 엔지니어링 카테고리를 포함하며, 각 과제는 평균 104개의 파일과 15,000줄 이상의 코드로 구성되어 기존 벤치마크 대비 훨씬 방대한 규모를 가진다. 에이전트의 자기 수정 능력을 평가하기 위해 다회차 실행 환경을 지원하며, 실험 결과 회차가 반복될수록 성능이 일부 개선되지만 특정 지점 이후에는 오히려 기존 기능을 망가뜨리는 회귀 문제가 발생하여 성능이 정체되는 양상을 보였다. 테스트 스위트는 요구사항 문서에만 기반하여 작성되어 인간의 특정 구현 방식에 편향되지 않은 객관적인 평가를 보장하도록 설계되었다.

과제 생성에 상당한 수동 노력이 필요하며(과제당 평균 40시간), 단계별 점수가 코드의 품질이나 효율성을 완벽하게 반영하지 못할 수 있다는 점이 한계로 언급되었다.