TUA-Bench: 범용 터미널 사용 에이전트 평가 벤치마크

명령줄 인터페이스는 명령·출력이 텍스트로 그대로 드러나기 때문에 언어 모델의 강점과 자연스럽게 정렬되는 상호작용 매체이다. 기존 벤치마크들이 GUI 중심이거나 개발자 전용 터미널 작업에 편중되어 범용 터미널 사용 능력을 충분히 측정하지 못했다는 한계가 존재한다. TUA-Bench는 120개의 실행 가능한 터미널 과제를 통해 에이전트의 계획, 도구 호출, 실행 모니터링 및 오류 복구 능력을 재현 가능하고 검증 가능한 방식으로 평가한다.

왜 중요한가

핵심 기여

범용 터미널 사용 평가 벤치 제공

TUA-Bench는 일상 생산성 작업부터 전문 과학·공학 워크플로까지 포함하는 120개의 실세계 터미널 과제를 수록한 벤치마크이다. 각 과제는 Dockerfile, 입력 아티팩트, 자연어 지침, 실행 설정, 인-환경 verifier를 포함해 동일한 초기 상태에서 재현 가능한 실행을 보장한다. 이 구성을 통해 에이전트가 단순 명령 실행을 넘어서 파일 조작, 파이프라인 구성, 외부 도구 호출과 같은 복합적 터미널 사용 능력을 종합적으로 측정할 수 있다.

전문가 협업 기반의 전문 과제 집합화

TUA-Bench는 생물학, 의료물리, 건축공학, 기계공학 분야의 PhD 수준 전문가와 협업해 도메인 특화 과제를 설계하고 검증 가능한 출력 기준을 정의했다. 전문 과제는 OpenFOAM, EnergyPlus 같은 특수 도구를 포함하거나 MRI 볼륨 처리 같은 도메인 절차를 포함해 에이전트가 전문 소프트웨어를 터미널로 제어하도록 요구한다. 과제당 자동 검증이 어려운 경우에는 전문가 기반 채점 루브릭을 도입해 평가 신뢰성을 유지했다.

난이도 인지 선별과 재현 가능한 실행 파이프라인

초기 후보 과제 풀에서 모형 기반의 해결 가능성 평가를 수행해 지나치게 쉬운 과제는 제거하고 장기 판별력을 확보했다. 구체적으로 GPT-5.5, Claude Opus 4.7/4.8, Gemini 3.1 Pro 등 최첨단 모델을 활용해 과제별 다중 시행 평균 보상으로 난이도를 정량화하고 낮은 해결 가능성을 보이는 100개 일상 과제와 20개 전문가 과제를 최종 선정했다. 모든 과제는 Harbor 기반의 컨테이너 오케스트레이션으로 표준화돼 환경 구축·로그·검증 절차가 재현 가능하다.

광범위한 에이전트·모델 평가와 실행 기반 분석

다양한 에이전트 스캐폴드(Terminus-2, Codex, Claude Code, OpenHands 등)와 모델(GPT-5.5, Claude Opus 4.8 등)을 조합해 실행 기반 성공률과 Pass@k 지표를 보고했다. 평가 결과 최고 구성은 Claude Code + Claude Opus 4.8로 65.8%의 성공률을 기록했으며 동일 에이전트 내부에서 모델·추론 예산·시간 제한의 변화가 성능에 미치는 영향을 상세히 분석했다. 추가로 시간 예산과 reasoning effort(Thinking-effort) 증가가 성공률을 크게 개선하는 현상을 수치로 제시해 실행 예산이 측정 결과에 미치는 영향을 강조했다.

핵심 아이디어 이해하기

기존 GUI 중심 벤치마크는 에이전트의 시각적 인지와 화면 좌표 기반 조작 능력을 함께 측정하므로 에이전트의 계획·추론 능력과 시각적 그라운딩 능력이 혼재된다. 명령줄 인터페이스는 명령어와 텍스트 피드백을 직접적으로 노출하므로 언어 모델이 본질적으로 잘 수행하는 텍스트 기반 계획과 도구 호출을 순수하게 측정할 수 있다. 따라서 터미널 기반 평가를 통해 에이전트의 계획 수립, 명령 생성, 파이프라인 조합, 최종 산출물 검증 능력을 더 정교하게 판별할 수 있다.

방법론

TUA-Bench는 Harbor 오케스트레이션을 실행 기반 인프라로 채택해 각 과제를 독립적이고 재현 가능한 컨테이너에서 실행하도록 설계했다. 각 과제 패키지는 Dockerfile, 입력 아티팩트, 자연어 지침, 환경 변수, 인-환경 verifier를 포함해 동일한 초기 상태에서 자동으로 빌드·실행·검증이 가능하다. 평가 지표는 실행 결과에 대한 자동 검증기에서 산출되는 스칼라 보상과 성공률이며 Pass@1, Pass@5, All-5를 병행 보고해 단발·반복·일관성 관점의 성능을 모두 캡처한다. TUA-Bench의 과제 수집은 두 축으로 이루어졌다. 일상 과제는 OSWorld의 GUI 기반 작업을 GUI-to-CLI 원칙에 따라 터미널 과제로 변환하되 입력 파일과 골드 아티팩트를 재사용해 의도는 보존하되 도구 선택의 자유를 부여했다. 전문 과제는 도메인 전문가와 공동 설계해 OpenFOAM, EnergyPlus, 의료 영상 처리 파이프라인 등 특수 소프트웨어를 포함한 실제 절차를 재현했고 가능한 한 자동 검증을 구성하되 필요 시 전문가 채점 루브릭을 사용했다. 과제 선별은 난이도 인지를 위해 최첨단 모델군으로 예비 평가를 실시한 뒤 해결 가능성이 낮은 과제들을 우선으로 선별하는 방식으로 진행됐다. 모델-스캐폴드 조합으로 각 과제에 대해 다섯 번 독립 실행을 수행해 평균 보상을 구하고, 이 값이 낮은 과제를 우선 유지함으로써 빠르게 포화되는 벤치마크의 문제를 완화했다. 또한 환경 재현성과 안전을 위해 Podman도 지원해 루트 권한 없이도 컨테이너 실행이 가능하도록 설계했다.

주요 결과

주요 결과로서 최강 구성은 Claude Code + Claude Opus 4.8(max)로 전체 성공률 65.8%를 기록했고 Codex + GPT-5.5(xhigh)는 64.7%로 그 뒤를 이었다. Terminus-2 에이전트 프레임워크에 모델을 고정한 실험에서는 GPT-5.5가 60.1%, Claude Opus 4.8이 59.7%로 선두 그룹을 형성했으며 두 모델 간 평균 성능 차이는 실험간 변동 범위와 유사해 크지 않았다. Pass@1·Pass@5·All-5 지표는 일관성 측면의 차이를 드러냈는데 Claude Opus 4.8은 All-5에서 42.5%로 GPT-5.5의 31.7%보다 더 안정적인 반복 수행 능력을 보였다. 시간 예산의 영향 분석에서 Terminus-2 + GPT-5.5(xhigh)를 사용했을 때 per-task 타임아웃을 150초에서 2400초로 늘리면 타임아웃 횟수는 337회에서 4회로 급감하고 성공률은 33.0%에서 60.1%로 27.1포인트 향상했다. 이 결과는 많은 실패가 본질적 추론 실패라기보다 실행 예산 부족으로 인한 조기 종료인 경우가 많음을 시사한다. Thinking-effort 실험에서는 none에서 xhigh로 reasoning budget을 늘리면 성공률이 36.5%에서 60.1%로 상승했으며 중간 수준에서 가장 큰 증가가 발생해 비용 대비 효율이 중간-높은 수준에서 최적화되는 경향을 보였다. 비용-성능 분석에서는 구성별 평균 비용이 대략 $12에서 $304 범위였고 Claude Code + Opus 4.8(max)는 $173.61/run에서 65.8% 성공률을 기록했다. 저비용 측면에서는 Terminus-2와 오픈 가중치 모델 조합이 효율적이었고 중간 비용 구간에서 성능이 급격히 향상되다가 약 $105/run을 넘으면 수익 감소가 발생했다. 또한 동일 모델이라도 에이전트 스캐폴드에 따라 비용효율과 절대 성능이 크게 달라져 하니스 선택이 결과 해석에 중요한 영향을 미쳤다.

기술 상세

전체 아키텍처는 Harbor 오케스트레이션 위에 각 과제를 컨테이너화해 실행·로그·검증 파이프라인을 수행하는 방식으로 구성된다. 입력 아티팩트와 Dockerfile, 환경 변수를 포함한 과제 패키지를 빌드하면 컨테이너가 초기 상태로 구성되고 에이전트는 터미널을 통해 명령을 발행하며 모든 트래젝토리가 로그로 수집된다. 각 과제는 인-환경 verifier를 통해 최종 파일·아티팩트의 존재, 형식 검증, 값의 정확성을 점검해 스칼라 보상을 반환하며 성공 기준은 이 자동 검증 결과로 결정된다. 평가에 사용된 메트릭은 과제 단위 평균 성공률과 Pass@1/Pass@5/All-5이며 각 에이전트-모델-추론설정 조합에 대해 과제당 5회 독립 실행을 수행해 평균과 표준오차를 보고했다. 에이전트 스캐폴드는 Terminus-2, Codex, Claude Code, OpenHands, Mini-SWE-Agent 등으로 다양하게 구성했고 각 스캐폴드에 여러 모델을 접목해 성능과 비용 효율을 비교했다. 실험 설정에서는 reasoning-effort(예: none, low, medium, high, xhigh)와 per-task 타임아웃(150s~2400s)을 조합해 성능 민감도를 분석했고 결과 해석에는 타임아웃으로 인한 조기 종료와 순수 추론 실패를 분리하는 관점을 적용했다. 학습이나 모델 개입은 평가 대상에서 제외하고 공개·상용 모델을 추론 엔진으로 사용해 에이전트의 실행 능력을 측정했다. 비용 산정은 각 모델의 토큰 사용과 공급자 가격을 기반으로 run당 달러 비용을 계산해 비용-성능 Pareto frontier를 도출했다. 또한 과제 선별 과정에서 여러 최첨단 모델로 사전 평가를 수행해 과제 난이도를 정량화하고 상향식으로 난이도 높은 과제를 유지함으로써 벤치마크의 판별력을 보존했다.

한계점

TUA-Bench는 터미널 기반 상호작용에 초점을 맞추기 때문에 GUI에 특화된 시각적 그라운딩 능력이나 좌표 수준 제어 역량은 평가에서 배제된다. 일부 애플리케이션은 여전히 성숙한 CLI 또는 헤드리스 지원을 제공하지 않아 특정 워크플로를 완전하게 터미널로 재현하지 못하는 경우가 있으며 이는 과제 범위의 제약으로 남는다. 또한 현재 모든 과제 지침은 영어로 제공되므로 언어적 제약이 존재하고, 공개 릴리스 이후에는 향후 모델 학습 데이터에 과제 내용이 유입될 위험이 있어 주기적 과제 갱신과 컨테이너 유지보수가 필요하다.

실무 활용

TUA-Bench의 코드와 태스크 패키징은 GitHub에 공개되어 있어 재현 가능한 실험 환경 구축과 벤치마크 기반 비교 평가에 즉시 활용 가능하다. Harbor 기반의 컨테이너화와 인-환경 검증기 설계는 연구자와 엔지니어가 새로운 에이전트 스캐폴드를 동일한 조건에서 평가하도록 지원한다. 다만 전문 과제는 특수 소프트웨어와 라이선스 제약을 포함할 수 있어 배포 환경에서 추가적인 설치·구성 작업이 요구될 수 있다.

터미널 에이전트 연구에서 모델·스캐폴드·추론 예산의 상호작용을 재현 가능한 조건으로 비교하는 벤치마크로 사용 가능하다.
기업 또는 연구팀이 자체 에이전트의 실무 적용 가능성을 판단하기 위해 문서 편집·웹 검색·전문 소프트웨어 제어 같은 실제 업무 시나리오에서 성능을 검증하는 데 활용 가능하다.
에이전트의 실행 예산(시간 제한, reasoning effort)과 비용-성능 트레이드오프를 분석하여 운영 정책과 토큰 예산을 설계하는 데 근거로 사용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

terminal-use agents(터미널 사용 에이전트)execution-grounded evaluation(실행 기반 평가)CLI(command-line interface)Harbor(오케스트레이션 프레임워크)thinking-effort(추론 예산)cost-performance tradeoff(비용-성능 절충)

용어 해설

실행 기반 평가(Execution-grounded evaluation): — 명시된 작업을 실제로 터미널 환경에서 실행하고 최종 산출물을 자동 검증기로 확인하여 성공 여부를 결정하는 평가 방식이다. 이 방식은 에이전트의 명령 실행 능력, 도구 호출, 파일 조작, 검증 가능한 결과 산출을 종합적으로 측정하며 시나리오별 최종 환경 상태를 기준으로 보상을 산정한다. TUA-Bench에서는 각 과제별로 Dockerfile과 인-환경 verifier를 포함해 동일한 초기 상태에서 재현 가능한 실행을 통해 성능을 산정한다.
Pass@k: — 여러 번의 독립 시도 중 상위 k개의 결과를 고려해 과제 성공을 평가하는 지표군이다. Pass@1은 단일 시도에서의 성공률을 의미하며 Pass@5는 다섯 번 시도 중 최고 결과를 기준으로 성공률을 산정한다. TUA-Bench는 Pass@1, Pass@5, All-5를 함께 보고하여 단발 해결 능력과 반복 안정성을 모두 판단한다.
Harbor 프레임워크(Harbor): — 컨테이너 기반 터미널 에이전트 평가를 위한 오케스트레이션 레이어로, 작업 설정, 컨테이너 실행, 로그 수집, 트래젝토리 저장, 검증기 실행을 자동화하는 실행 인프라이다. Harbor는 독립적이고 리셋 가능한 Linux 컨테이너를 관리하며 Docker와 Podman을 지원해 재현성과 안전한 병렬 평가를 보장한다. TUA-Bench는 Harbor를 인프라로 채택해 환경 패키징과 실행-검증 파이프라인을 표준화했다.
GUI-대신 CLI 과제 변환(GUI-to-CLI conversion): — 전통적으로 그래픽 인터페이스에서 수행하던 사용자의 목표를 명시적 파일·명령 기반의 터미널 과제로 재작성하는 절차이다. 변환은 입력 파일과 목표 아티팩트를 유지하되 도구 제약은 풀어 에이전트가 적절한 명령·유틸리티를 선택해 해결하도록 설계된다. TUA-Bench는 OSWorld의 GUI 과제를 이 원칙에 따라 터미널 과제로 변환해 일상적 작업을 텍스트 네이티브 환경에서 평가한다.

TUA-Bench: 범용 터미널 사용 에이전트 평가 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

거부 수준의 격차로 7위에 놓인 오케스트레이터

대화형 에이전트의 신뢰성과 협업 능력을 측정하는 벤치마크인 τ-bench와 τ²-bench 연구.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

거부 수준의 격차로 7위에 놓인 오케스트레이터

대화형 에이전트의 신뢰성과 협업 능력을 측정하는 벤치마크인 τ-bench와 τ²-bench 연구.