LongCLI-Bench: 명령줄 인터페이스에서의 장기적 에이전트 프로그래밍을 위한 예비 벤치마크 및 연구

기존 코딩 벤치마크의 한계인 데이터 오염과 짧은 작업 범위를 극복하고, 실제 소프트웨어 개발 환경과 유사한 복잡한 장기 과제 수행 능력을 정밀하게 측정한다. 실험을 통해 현재 에이전트의 병목이 실행력보다 전략적 계획 수립에 있음을 밝히고 인간-에이전트 협업의 중요성을 제시한다.

왜 중요한가

핵심 기여

LongCLI-Bench 벤치마크 구축

1,000개 이상의 과제에서 엄선된 20개의 고품질 장기 과제를 제공하여, 기존 벤치마크의 데이터 오염 문제와 짧은 작업 범위를 해결했다.

이중 테스트 프로토콜 도입

요구사항 충족 여부를 확인하는 F2P 테스트와 기존 기능 유지 여부를 확인하는 P2P 테스트를 병행하여 에이전트의 신뢰성을 다각도로 검증한다.

단계별 점수화 체계 제안

단순한 성공/실패 이진 평가 대신 작업 진행률을 세밀하게 측정하여, 에이전트가 어느 단계에서 실패하는지 구체적으로 파악할 수 있게 했다.

인간-에이전트 협업의 효용성 입증

단순 자기 수정보다 인간의 계획 주입이나 상호작용 지도가 에이전트의 성능을 비약적으로 향상시킴을 실험을 통해 확인했다.

핵심 아이디어 이해하기

Transformer 아키텍처는 Attention 메커니즘을 통해 입력 시퀀스 내 토큰 간의 관계를 파악하지만, 실제 소프트웨어 개발은 수천 개의 파일과 복잡한 의존성이 얽혀 있어 단일 컨텍스트 윈도우 내에서 모든 정보를 처리하기 어렵다. 기존 벤치마크는 짧은 코드 조각에 집중하여 이러한 장기적 문맥 유지 능력을 제대로 평가하지 못하는 한계가 있었다. LongCLI-Bench는 에이전트가 명령줄 인터페이스(CLI) 환경에서 수십 단계의 상호작용을 거쳐야 하는 과제를 부여한다. 에이전트는 각 단계에서 실행 결과를 관찰하고 이를 바탕으로 다음 행동을 결정하는 루프를 수행해야 하며, 이는 에이전트가 단순히 코드를 생성하는 것을 넘어 환경의 상태 변화를 추적하고 복잡한 요구사항 체인을 관리해야 함을 의미한다. 이 접근 방식은 에이전트가 초기 계획을 얼마나 견고하게 세우는지, 그리고 실행 중 발생하는 오류를 어떻게 진단하고 수정하는지를 단계별 점수로 정밀하게 측정하여 에이전트 지능의 한계 지점을 구체적으로 확인하게 해준다.

방법론

데이터 구축 단계에서는 108개 코스의 958개 컴퓨터 과학 과제와 50개의 실제 워크플로우를 수집했다. Codex를 이용해 자동 해결이 가능한 쉬운 과제를 제거하고 인간 전문가의 검토를 거쳐 20개의 고난도 과제를 최종 선정했다. 모든 과제는 Docker 컨테이너 내에서 실행되어 외부 환경의 간섭을 차단하고 재현성을 보장한다. 평가를 위해 두 가지 단계별 점수 지표를 사용한다. F2P Step Score는 [성공한 세부 요구사항 수 n]을 [전체 요구사항 수 N]으로 나누어 계산하며, 이는 에이전트가 목표 기능을 얼마나 완수했는지 나타내는 진행률 지표가 된다. P2P Step Score는 [통과한 기존 기능 테스트 수 m]을 [전체 기존 기능 테스트 수 M]으로 나누어 계산하며, 이는 에이전트의 수정이 기존 시스템에 의도치 않은 오류를 일으키지 않았는지 나타내는 안정성 지표로 활용된다.

주요 결과

Claude Code(Claude-Opus-4.6 기반)와 Codex를 포함한 모든 최신 에이전트 시스템이 20% 미만의 성공률을 기록했다. 가장 높은 성능을 보인 Claude-Opus-4.6도 16.7%에 그쳤으며, 단계별 분석 결과 대부분의 실패가 작업 진행률 30% 미만의 초기 단계에서 발생하는 것으로 나타났다. 이는 에이전트가 복잡한 과제의 초기 계획 수립 및 환경 파악 단계에서 이미 치명적인 오류를 범하고 있음을 시사한다. 반면 인간-에이전트 협업 실험에서 정적 계획 주입은 Claude Code의 성공률을 16.7%에서 58.3%로 크게 향상시켰다. 이는 현재 에이전트의 가장 큰 병목 현상이 단순한 코딩 실행력보다는 전체적인 문제를 구조화하고 순서를 정하는 전략적 계획 수립 능력에 있음을 입증한다.

기술 상세

벤치마크 아키텍처는 Initial Repo, Task Requirement, Environment, Solution Repo, Tests의 5가지 핵심 요소로 구성된다. From Scratch, Feature Addition, Bug Fix, Refactor의 4가지 엔지니어링 카테고리를 포함하며, 각 과제는 평균 104개의 파일과 15,000줄 이상의 코드로 구성되어 기존 벤치마크 대비 훨씬 방대한 규모를 가진다. 에이전트의 자기 수정 능력을 평가하기 위해 다회차 실행 환경을 지원하며, 실험 결과 회차가 반복될수록 성능이 일부 개선되지만 특정 지점 이후에는 오히려 기존 기능을 망가뜨리는 회귀 문제가 발생하여 성능이 정체되는 양상을 보였다. 테스트 스위트는 요구사항 문서에만 기반하여 작성되어 인간의 특정 구현 방식에 편향되지 않은 객관적인 평가를 보장하도록 설계되었다.

한계점

과제 생성에 상당한 수동 노력이 필요하며(과제당 평균 40시간), 단계별 점수가 코드의 품질이나 효율성을 완벽하게 반영하지 못할 수 있다는 점이 한계로 언급되었다.

실무 활용

자율 코딩 에이전트의 성능을 실제 개발 환경과 유사한 조건에서 정밀하게 평가하고, 인간과의 협업 지점을 찾는 데 활용 가능하다.

AI 코딩 에이전트의 장기 계획 능력 벤치마킹
에이전트의 코드 수정 시 발생하는 회귀 오류 탐지 성능 테스트
인간-에이전트 협업 워크플로우 설계 및 검증

코드 공개 여부: 공개

코드 저장소 보기

키워드

AI-assisted Programming(AI 보조 프로그래밍)CLI(명령줄 인터페이스)Long-horizon Planning(장기 계획)Agent Evaluation(에이전트 평가)Software Engineering(소프트웨어 공학)

용어 해설

명령줄 인터페이스(CLI): — 사용자가 텍스트 명령어를 입력하여 컴퓨터 시스템과 상호작용하는 방식이다. 에이전트는 터미널을 통해 파일을 수정하고 도구를 실행하며 환경 피드백을 받아 다음 행동을 결정한다. 실제 소프트웨어 엔지니어링 작업이 이루어지는 핵심 환경이다.
장기 과제(Long-horizon Task): — 수십 단계 이상의 복잡한 계획과 실행이 필요한 작업을 의미한다. 이전 단계의 결과가 다음 단계의 성공에 영향을 미치는 순차적 의존성이 강하며, 에이전트가 긴 시간 동안 문맥을 유지하고 일관된 목표를 추구해야 하므로 난이도가 매우 높다.
회귀 테스트(Regression Testing): — 새로운 코드를 추가하거나 수정했을 때 기존에 잘 작동하던 기능이 망가지지 않았는지 확인하는 절차이다. 에이전트가 새로운 요구사항을 구현하면서 기존 시스템의 무결성을 파괴하는지 감시하는 중요한 품질 관리 수단이다.
F2P/P2P 테스트(F2P/P2P Testing): — 에이전트의 수정을 검증하는 이중 프로토콜이다. F2P(Fail→Pass)는 실패하던 초기 상태에서 요구사항 구현 후 성공으로 바뀌었는지 확인하고, P2P(Pass→Pass)는 성공하던 기존 기능들이 수정 후에도 여전히 성공하는지 확인하여 안정성을 평가한다.
단계별 점수화(Step-level Scoring): — 전체 작업의 성공 여부만 따지는 이진 평가와 달리, 작업의 세부 단계를 나누어 각각 점수를 매기는 방식이다. 에이전트가 과제의 어느 지점까지 도달했는지, 어느 단계에서 주로 실패가 발생하는지 정밀하게 분석할 수 있게 해준다.

LongCLI-Bench: 명령줄 인터페이스에서의 장기적 에이전트 프로그래밍을 위한 예비 벤치마크 및 연구

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

2026년 AI 코딩 에이전트 오픈소스 벤치마크 10선

과학 소프트웨어 수정을 평가하는 SWE-bench Science

AI 코딩 에이전트 결과를 바꾸는 10가지 개발 규칙

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

2026년 AI 코딩 에이전트 오픈소스 벤치마크 10선

과학 소프트웨어 수정을 평가하는 SWE-bench Science

AI 코딩 에이전트 결과를 바꾸는 10가지 개발 규칙