TUA-Bench: 범용 터미널 사용 에이전트 평가 벤치마크

명령줄 인터페이스는 명령·출력이 텍스트로 그대로 드러나기 때문에 언어 모델의 강점과 자연스럽게 정렬되는 상호작용 매체이다. 기존 벤치마크들이 GUI 중심이거나 개발자 전용 터미널 작업에 편중되어 범용 터미널 사용 능력을 충분히 측정하지 못했다는 한계가 존재한다. TUA-Bench는 120개의 실행 가능한 터미널 과제를 통해 에이전트의 계획, 도구 호출, 실행 모니터링 및 오류 복구 능력을 재현 가능하고 검증 가능한 방식으로 평가한다.

기존 GUI 중심 벤치마크는 에이전트의 시각적 인지와 화면 좌표 기반 조작 능력을 함께 측정하므로 에이전트의 계획·추론 능력과 시각적 그라운딩 능력이 혼재된다. 명령줄 인터페이스는 명령어와 텍스트 피드백을 직접적으로 노출하므로 언어 모델이 본질적으로 잘 수행하는 텍스트 기반 계획과 도구 호출을 순수하게 측정할 수 있다. 따라서 터미널 기반 평가를 통해 에이전트의 계획 수립, 명령 생성, 파이프라인 조합, 최종 산출물 검증 능력을 더 정교하게 판별할 수 있다.

TUA-Bench는 Harbor 오케스트레이션을 실행 기반 인프라로 채택해 각 과제를 독립적이고 재현 가능한 컨테이너에서 실행하도록 설계했다. 각 과제 패키지는 Dockerfile, 입력 아티팩트, 자연어 지침, 환경 변수, 인-환경 verifier를 포함해 동일한 초기 상태에서 자동으로 빌드·실행·검증이 가능하다. 평가 지표는 실행 결과에 대한 자동 검증기에서 산출되는 스칼라 보상과 성공률이며 Pass@1, Pass@5, All-5를 병행 보고해 단발·반복·일관성 관점의 성능을 모두 캡처한다. TUA-Bench의 과제 수집은 두 축으로 이루어졌다. 일상 과제는 OSWorld의 GUI 기반 작업을 GUI-to-CLI 원칙에 따라 터미널 과제로 변환하되 입력 파일과 골드 아티팩트를 재사용해 의도는 보존하되 도구 선택의 자유를 부여했다. 전문 과제는 도메인 전문가와 공동 설계해 OpenFOAM, EnergyPlus, 의료 영상 처리 파이프라인 등 특수 소프트웨어를 포함한 실제 절차를 재현했고 가능한 한 자동 검증을 구성하되 필요 시 전문가 채점 루브릭을 사용했다. 과제 선별은 난이도 인지를 위해 최첨단 모델군으로 예비 평가를 실시한 뒤 해결 가능성이 낮은 과제들을 우선으로 선별하는 방식으로 진행됐다. 모델-스캐폴드 조합으로 각 과제에 대해 다섯 번 독립 실행을 수행해 평균 보상을 구하고, 이 값이 낮은 과제를 우선 유지함으로써 빠르게 포화되는 벤치마크의 문제를 완화했다. 또한 환경 재현성과 안전을 위해 Podman도 지원해 루트 권한 없이도 컨테이너 실행이 가능하도록 설계했다.

주요 결과로서 최강 구성은 Claude Code + Claude Opus 4.8(max)로 전체 성공률 65.8%를 기록했고 Codex + GPT-5.5(xhigh)는 64.7%로 그 뒤를 이었다. Terminus-2 에이전트 프레임워크에 모델을 고정한 실험에서는 GPT-5.5가 60.1%, Claude Opus 4.8이 59.7%로 선두 그룹을 형성했으며 두 모델 간 평균 성능 차이는 실험간 변동 범위와 유사해 크지 않았다. Pass@1·Pass@5·All-5 지표는 일관성 측면의 차이를 드러냈는데 Claude Opus 4.8은 All-5에서 42.5%로 GPT-5.5의 31.7%보다 더 안정적인 반복 수행 능력을 보였다. 시간 예산의 영향 분석에서 Terminus-2 + GPT-5.5(xhigh)를 사용했을 때 per-task 타임아웃을 150초에서 2400초로 늘리면 타임아웃 횟수는 337회에서 4회로 급감하고 성공률은 33.0%에서 60.1%로 27.1포인트 향상했다. 이 결과는 많은 실패가 본질적 추론 실패라기보다 실행 예산 부족으로 인한 조기 종료인 경우가 많음을 시사한다. Thinking-effort 실험에서는 none에서 xhigh로 reasoning budget을 늘리면 성공률이 36.5%에서 60.1%로 상승했으며 중간 수준에서 가장 큰 증가가 발생해 비용 대비 효율이 중간-높은 수준에서 최적화되는 경향을 보였다. 비용-성능 분석에서는 구성별 평균 비용이 대략 $12에서$304 범위였고 Claude Code + Opus 4.8(max)는 $173.61/run에서 65.8$105/run을 넘으면 수익 감소가 발생했다. 또한 동일 모델이라도 에이전트 스캐폴드에 따라 비용효율과 절대 성능이 크게 달라져 하니스 선택이 결과 해석에 중요한 영향을 미쳤다.

전체 아키텍처는 Harbor 오케스트레이션 위에 각 과제를 컨테이너화해 실행·로그·검증 파이프라인을 수행하는 방식으로 구성된다. 입력 아티팩트와 Dockerfile, 환경 변수를 포함한 과제 패키지를 빌드하면 컨테이너가 초기 상태로 구성되고 에이전트는 터미널을 통해 명령을 발행하며 모든 트래젝토리가 로그로 수집된다. 각 과제는 인-환경 verifier를 통해 최종 파일·아티팩트의 존재, 형식 검증, 값의 정확성을 점검해 스칼라 보상을 반환하며 성공 기준은 이 자동 검증 결과로 결정된다. 평가에 사용된 메트릭은 과제 단위 평균 성공률과 Pass@1/Pass@5/All-5이며 각 에이전트-모델-추론설정 조합에 대해 과제당 5회 독립 실행을 수행해 평균과 표준오차를 보고했다. 에이전트 스캐폴드는 Terminus-2, Codex, Claude Code, OpenHands, Mini-SWE-Agent 등으로 다양하게 구성했고 각 스캐폴드에 여러 모델을 접목해 성능과 비용 효율을 비교했다. 실험 설정에서는 reasoning-effort(예: none, low, medium, high, xhigh)와 per-task 타임아웃(150s~2400s)을 조합해 성능 민감도를 분석했고 결과 해석에는 타임아웃으로 인한 조기 종료와 순수 추론 실패를 분리하는 관점을 적용했다. 학습이나 모델 개입은 평가 대상에서 제외하고 공개·상용 모델을 추론 엔진으로 사용해 에이전트의 실행 능력을 측정했다. 비용 산정은 각 모델의 토큰 사용과 공급자 가격을 기반으로 run당 달러 비용을 계산해 비용-성능 Pareto frontier를 도출했다. 또한 과제 선별 과정에서 여러 최첨단 모델로 사전 평가를 수행해 과제 난이도를 정량화하고 상향식으로 난이도 높은 과제를 유지함으로써 벤치마크의 판별력을 보존했다.

TUA-Bench는 터미널 기반 상호작용에 초점을 맞추기 때문에 GUI에 특화된 시각적 그라운딩 능력이나 좌표 수준 제어 역량은 평가에서 배제된다. 일부 애플리케이션은 여전히 성숙한 CLI 또는 헤드리스 지원을 제공하지 않아 특정 워크플로를 완전하게 터미널로 재현하지 못하는 경우가 있으며 이는 과제 범위의 제약으로 남는다. 또한 현재 모든 과제 지침은 영어로 제공되므로 언어적 제약이 존재하고, 공개 릴리스 이후에는 향후 모델 학습 데이터에 과제 내용이 유입될 위험이 있어 주기적 과제 갱신과 컨테이너 유지보수가 필요하다.