Long-Horizon-Terminal-Bench: 밀집 보상 기반 서브태스크 채점으로 장기 터미널 과제에서 에이전트 한계 측정

대다수 기존 터미널·소프트웨어 벤치마크는 과제가 몇 분 내에 끝나는 짧은 작업에 집중하며 최종 성공 여부로만 평가되어 장기 워크플로의 중간 진척을 포착하지 못한다. Long-Horizon-Terminal-Bench는 이러한 공백을 메우기 위해 30분에서 수시간 걸리는 46개 실무형 장기 과제를 구성하고 각 과제를 서브태스크로 분해해 밀집 보상을 제공한다. 이 접근은 에이전트의 장기 계획 능력, 상태 유지, 반복적 디버깅 능력을 수치화하여 단일 성공률보다 더 세밀한 성능 비교를 가능하게 한다.

대부분의 기존 터미널 및 소프트웨어 벤치마크는 작업 완료 여부를 이진적으로 판정하고 과제 길이가 짧아 장기 계획과 상태 관리를 평가하지 못한다. 이러한 환경에서는 최종 실패와 부분 진척을 구분할 수 없기 때문에 에이전트가 긴 시퀀스에서 지속적으로 진척을 만들 수 있는지를 판별하기 어렵다. 본 연구는 긴 실행 시간과 수백 단계의 상호작용을 요구하는 현실적 워크플로우를 명시적으로 도입하여 이 한계를 타겟으로 삼았다.

Long-Horizon-Terminal-Bench의 핵심 설계는 각 과제를 의미 있는 서브태스크 집합 {s1,...,sK}으로 분해하고 각 서브태스크에 대해 r_k∈[0,1]을 산출하는 결정론적 그레이더를 도입하는 것이다. 전체 보상 R은 가중 평균 R = (∑{k} w_k r_k)/(∑{k} w_k)로 계산되며 이때 w_k는 기본적으로 동일하고 필요할 경우 최종 목표에 더 높은 가중을 부여한다. 서브태스크 유형으로는 이진 검증, 연속/임계값 기반 점수, 에피소드 집계형 지표가 사용되어 정성적 완료와 정량적 근접도를 모두 포착한다.

주요 실험에서 15개 프런티어 모델을 동일한 하니스로 평가한 결과 GPT-5.5가 가장 높은 성능을 보였지만 R≥0.95 기준으로도 46개 과제 중 7개만 해결하여 15.2%의 통과율을 기록했다. 전체 평균 통과율은 R≥0.95 기준으로 4.3%에 불과하며 32.9%의 실행은 R<0.05로 의미 있는 진척이 거의 없었다. 또한 모델별 평균 소요 자원은 과제당 9.9M 토큰, 231 에피소드, 85.3분으로 집계되어 장기 과제의 비용·시간 부담이 뚜렷하게 확인되었다.

벤치마크의 각 태스크는 Harbor 형식으로 구성된 도커 이미지, 자연어 지시문, 태스크 구성 파일, 그리고 환경 내부에서 실행되는 결정론적 검증기로 구성된다. 서브태스크 검사는 파일 존재 여부, 단위 테스트 통과, 시뮬레이터의 내부 성공 플래그, 또는 연속적 메트릭 일치도 등 환경 상태에 기반한 객관적 증거를 사용하여 수행된다. 공개 체크와 숨겨진 스트레스 케이스를 분리하여 공개 테스트만으로 높은 점수를 얻는 오버피팅을 방지하도록 설계되었으며 숨겨진 케이스는 난수화된 입력, 필드 이름 변형, 데이터 포맷 변형 등을 포함한다.

벤치마크 결과는 사용한 에이전트 하니스와 실행 예산(예: 90분 타임아웃)에 민감하게 영향을 받는다. 또한 대규모 토큰·시간 소비가 요구되므로 비용 제약이 있는 환경에서 반복 실험을 수행하기 어렵다는 한계가 존재한다. 본 벤치마크는 장기 완성 능력을 평가하는 데 강점을 보이지만 하니스 설계에 의한 편향 가능성과 높은 계산 비용은 결과 해석 시 주의가 필요하다.