Long-Horizon-Terminal-Bench: 밀집 보상 기반 서브태스크 채점으로 장기 터미널 과제에서 에이전트 한계 측정

왜 중요한가

대다수 기존 터미널·소프트웨어 벤치마크는 과제가 몇 분 내에 끝나는 짧은 작업에 집중하며 최종 성공 여부로만 평가되어 장기 워크플로의 중간 진척을 포착하지 못한다. Long-Horizon-Terminal-Bench는 이러한 공백을 메우기 위해 30분에서 수시간 걸리는 46개 실무형 장기 과제를 구성하고 각 과제를 서브태스크로 분해해 밀집 보상을 제공한다. 이 접근은 에이전트의 장기 계획 능력, 상태 유지, 반복적 디버깅 능력을 수치화하여 단일 성공률보다 더 세밀한 성능 비교를 가능하게 한다.

핵심 기여

46개의 장기 터미널 과제와 서브태스크 기반 밀집 보상 설계

벤치마크는 46개 과제를 포함하며 각 과제는 도커 환경과 참조 솔루션, 숨겨진 검증기를 갖춘 터미널 형식으로 제공된다. 각 과제는 의미 있는 중간 목표들로 분해되어 서브태스크별로 0~1 범위의 점수를 산출하고 가중 평균으로 전체 보상을 계산한다. 이 구조는 부분 진척을 정량화하여 근접 실패와 부분 완성을 드러내 평가의 해상도를 높였다.

대규모 모델·에이전트 평가와 비용·토큰·시간 측정

공유 에이전트 하니스(예: Terminus-2)를 통해 15개 최신 모델을 동일한 환경에서 평가하여 모델별 통과율, 평균 정규화 보상, 에피소드 수, 소요 시간, 토큰 사용량, 추정 비용을 보고했다. 실험 결과는 평균적으로 과제당 9.9M 토큰, 231 에피소드, 85.3분의 실행 시간이 소요되며 이는 기존 터미널 벤치보다 한 자릿수 이상 무거운 요구량임을 보여준다. 이런 계측은 성능뿐만 아니라 비용 대비 효율성의 관점에서 모델을 비교할 근거를 제공한다.

밀집 보상이 드러낸 실패 패턴과 정성·정량적 고장 분석

밀집 보상은 단순 타임아웃과 조기 종료, 하니스 오류로 분해된 실패 유형을 드러냈고 전체 미해결 실행의 79%가 시간 초과로 종료된다는 정량적 사실이 도출되었다. 또한 조기 종료 중 일부는 높은 보상 값으로 멈추는 'false finish' 현상을 보였으며 이는 잘못된 자기 검증 판단의 증거로 해석되었다. 이러한 세부 고장 분류는 장기 완성 능력을 개선하기 위한 구체적 연구 방향을 제시한다.

공개 리포지토리와 재현 가능한 태스크 구성으로 벤치 확장성 확보

각 과제는 공개 자산 생성 스크립트, 약한 공개 베이스라인, 공식 금색 솔루션, 다단계 solve.sh 및 숨겨진 검증기를 포함하는 재현 가능한 프로젝트로 구성되었다. 공개 체크는 간단한 명령행 동작과 파일 형식만 검증하도록 설계되어 숨겨진 스트레스 케이스로 일반화 성능을 평가하도록 유도한다. 이렇게 구성된 데이터셋은 과제 난이도 조정과 외부 검증을 위한 기반을 제공한다.

핵심 아이디어 이해하기

대부분의 기존 터미널 및 소프트웨어 벤치마크는 작업 완료 여부를 이진적으로 판정하고 과제 길이가 짧아 장기 계획과 상태 관리를 평가하지 못한다. 이러한 환경에서는 최종 실패와 부분 진척을 구분할 수 없기 때문에 에이전트가 긴 시퀀스에서 지속적으로 진척을 만들 수 있는지를 판별하기 어렵다. 본 연구는 긴 실행 시간과 수백 단계의 상호작용을 요구하는 현실적 워크플로우를 명시적으로 도입하여 이 한계를 타겟으로 삼았다.

방법론

Long-Horizon-Terminal-Bench의 핵심 설계는 각 과제를 의미 있는 서브태스크 집합 {s1,...,sK}으로 분해하고 각 서브태스크에 대해 r_k∈[0,1]을 산출하는 결정론적 그레이더를 도입하는 것이다. 전체 보상 R은 가중 평균 R = (∑{k} w_k r_k)/(∑{k} w_k)로 계산되며 이때 w_k는 기본적으로 동일하고 필요할 경우 최종 목표에 더 높은 가중을 부여한다. 서브태스크 유형으로는 이진 검증, 연속/임계값 기반 점수, 에피소드 집계형 지표가 사용되어 정성적 완료와 정량적 근접도를 모두 포착한다.

주요 결과

주요 실험에서 15개 프런티어 모델을 동일한 하니스로 평가한 결과 GPT-5.5가 가장 높은 성능을 보였지만 R≥0.95 기준으로도 46개 과제 중 7개만 해결하여 15.2%의 통과율을 기록했다. 전체 평균 통과율은 R≥0.95 기준으로 4.3%에 불과하며 32.9%의 실행은 R<0.05로 의미 있는 진척이 거의 없었다. 또한 모델별 평균 소요 자원은 과제당 9.9M 토큰, 231 에피소드, 85.3분으로 집계되어 장기 과제의 비용·시간 부담이 뚜렷하게 확인되었다.

기술 상세

벤치마크의 각 태스크는 Harbor 형식으로 구성된 도커 이미지, 자연어 지시문, 태스크 구성 파일, 그리고 환경 내부에서 실행되는 결정론적 검증기로 구성된다. 서브태스크 검사는 파일 존재 여부, 단위 테스트 통과, 시뮬레이터의 내부 성공 플래그, 또는 연속적 메트릭 일치도 등 환경 상태에 기반한 객관적 증거를 사용하여 수행된다. 공개 체크와 숨겨진 스트레스 케이스를 분리하여 공개 테스트만으로 높은 점수를 얻는 오버피팅을 방지하도록 설계되었으며 숨겨진 케이스는 난수화된 입력, 필드 이름 변형, 데이터 포맷 변형 등을 포함한다.

한계점

벤치마크 결과는 사용한 에이전트 하니스와 실행 예산(예: 90분 타임아웃)에 민감하게 영향을 받는다. 또한 대규모 토큰·시간 소비가 요구되므로 비용 제약이 있는 환경에서 반복 실험을 수행하기 어렵다는 한계가 존재한다. 본 벤치마크는 장기 완성 능력을 평가하는 데 강점을 보이지만 하니스 설계에 의한 편향 가능성과 높은 계산 비용은 결과 해석 시 주의가 필요하다.

실무 활용

Long-Horizon-Terminal-Bench는 실무형 장기 워크플로우의 자동화 능력을 객관적으로 측정하는 평가 도구로 사용 가능하다. 서브태스크 기반 채점은 개발자가 에이전트의 부분 진척과 근접 실패를 확인하고 개선 지점을 파악하는 데 유용하다. 공개 리포지토리와 하니스는 연구자와 엔지니어가 재현 실험을 수행하고 새로운 제어 전략을 비교하는 실험 플랫폼을 제공한다.

장기 자동화 에이전트의 계획·검증 알고리즘 성능 비교를 위한 표준화된 벤치마크로 활용 가능하다.
에이전트 하니스와 정지 판단(stopping judgment) 개선을 위한 조기 종료 및 false finish 사례 연구에 활용될 수 있다.
비용 대비 성능을 고려한 모델 선택과 에피소드·토큰 예산 설계 실험에 사용될 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

long-horizon-terminal-bench(장기 터미널 벤치마크)subtask-grading(서브태스크 기반 채점)dense-reward(밀집 보상)terminal-environment(터미널 환경)pass-rate(통과율)

용어 해설

서브태스크 기반 채점(Subtask-based grading): — 단일 최종 성공 여부 대신 여러 의미 있는 중간 목표로 작업을 분해하여 각 목표에 대해 개별 점수를 부여하는 방식이다. 각 서브태스크는 환경 상태의 객관적 증거(파일, 출력, 시뮬레이터 응답 등)를 기준으로 이진적 또는 연속적 점수를 산출한다. 이 방식은 긴 작업 흐름에서 부분 진척을 정량화하고 최종 실패가 있어도 의미 있는 진척을 반영하도록 설계되었다.
밀집 보상(Dense Reward): — 에이전트가 장기간의 작업을 수행할 때 중간 단계마다 보상을 제공하여 보상 신호가 희박하지 않게 만드는 평가 설계이다. 이 논문 맥락에서는 서브태스크별 점수 합성으로 전체 보상을 계산하여 부분 성공도 명확히 측정한다. 밀집 보상은 근접 실패나 부분 완성 사례를 드러내 모델 간 순위 판별력을 높인다.
터미널 환경(Terminal Environment): — 도커 컨테이너 기반으로 제공되는 셸 접근형 작업 공간으로 에이전트가 명령 실행, 파일 편집, 스크립트 실행 등 터미널 연산만으로 과제를 해결해야 하는 실행 환경이다. 문제는 모든 관련 코드와 데이터, 검증기 및 참조 솔루션을 포함하며 에이전트는 이 환경에서 수백 단계의 상호작용을 수행한다. 터미널 환경은 현실적 워크플로우 재현과 자동화된 환경 기반 검증을 가능하게 한다.

Long-Horizon-Terminal-Bench: 밀집 보상 기반 서브태스크 채점으로 장기 터미널 과제에서 에이전트 한계 측정

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

StateM, 에이전트 실패를 런타임에서 줄이다

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

StateM, 에이전트 실패를 런타임에서 줄이다