에이전트 궤적을 실행 가능한 Terminal 환경으로 복원하는 방법

왜 중요한가

Terminal-agent 학습에는 반복 실행과 결과 검증이 가능한 환경이 필요하지만, 수작업으로 만든 실행 workspace는 확장에 한계가 있습니다. Terminal-Universe는 고정된 궤적에서 환경을 복원한 뒤 단일 workspace, 교차 workspace, 다중 라운드 과제로 재질문해 37.3k개의 충분한 환경을 확보하고, Qwen3.5-27B의 Terminal-Bench 2.1 점수를 11.9포인트 높였습니다.

핵심 기여

궤적 기반 실행 환경 복원

기존 terminal-agent 궤적의 read, write, edit 작업을 결정적으로 재생해 에이전트 변경 전 파일을 복원하고, completion agent가 누락된 파일과 의존성을 채워 실행 가능한 workspace를 구성합니다.

환경 내부·간·라운드별 과제 확장

복원된 workspace에서 원래 의도를 회수하고 새 과제를 생성하며, 관련 workspace를 연결하는 Cross-WS와 요구사항을 이어가는 Multi-Round로 과제의 폭과 깊이를 확장합니다.

실행 검증 기반 데이터 선별

각 Single-WS와 Cross-WS 과제에 agent-authored pytest verifier를 붙이고 모든 테스트를 통과한 궤적만 보존합니다. Multi-Round는 최소 두 개의 검증 통과 라운드를 포함한 세션을 선택합니다.

단일·다중 라운드 성능 개선

32.0k개의 verifier-filtered 시연으로 Qwen3.5-27B를 학습해 Terminal-Bench 2.1에서 58.1%, EvoCode-Bench v2 MT@4에서 20.1%를 기록하며 base model보다 각각 11.9포인트와 13.8포인트 높였습니다.

핵심 아이디어 이해하기

Terminal-agent 궤적은 한 번의 해결 과정을 기록한 고정 시연이고, 실행 환경은 같은 문제를 다른 모델로 다시 풀고 테스트로 결과를 확인하게 하는 자원입니다. 기존에는 환경에서 궤적을 생성했지만, 이 연구는 방향을 뒤집어 궤적의 file operation과 terminal 출력에서 실행 환경의 흔적을 복원합니다.

먼저 read, write, edit 작업을 시간 순서대로 처리해 에이전트가 처음 변경하기 전의 파일 상태를 모읍니다. 이 단계는 에이전트가 접근한 경로와 보이는 내용만 복구하므로, 읽지 않은 파일이나 잘린 파일 내용, 암묵적 dependency가 빠진 부분 workspace를 만듭니다.

그 다음 completion agent가 과제와 부분 workspace를 입력으로 받아 누락 파일과 실행 의존성을 추가합니다. 과제를 직접 구현하지 않도록 제한하면서 solver가 실제 작업을 시작할 수 있는 context를 복원하고, read-only judge가 source, configuration, data, structure의 충분성을 판정합니다.

복원된 workspace는 한 번 쓰고 버리지 않습니다. 같은 workspace 안에서 새 task를 만들고, 관련 workspace 사이의 dependency를 연결하며, 초기 해결 뒤 user agent가 요구사항을 추가하거나 실패 수정을 요청합니다. 따라서 하나의 궤적이 여러 번 검증 가능한 학습 시연으로 바뀝니다.

방법론

Terminal-Universe는 환경 복원, re-querying, verification의 세 단계로 구성됩니다. 환경 복원에서는 궤적의 read, write, edit와 command operation을 시간 순서대로 재생해 각 경로의 가장 이른 파일 내용을 초기 상태로 수집하고, 에이전트가 새로 만든 파일과 변경 내용은 검증용으로 분리합니다. 이후 completion agent가 recovered task와 부분 workspace를 받아 누락 파일, 불완전한 파일, dependency를 보완하며, read-only agentic judge가 과제 수행에 충분한 workspace만 보존합니다.

Re-querying은 네 가지 경로를 사용합니다. Intent Recovery는 단일 라운드의 실질적 사용자 요청이나 다중 라운드의 같은 task를 명확히 하는 요청만 모아 원래 과제를 복원합니다. Single-WS는 각 workspace를 조사해 groundedness, 구조적 다양성, 검증 가능성 조건을 만족하는 다섯 개 후보를 만들고 유효한 하나를 선택합니다. 모든 과제는 대상 workspace의 공개 interface와 예상 동작을 검사하는 verifier와 연결됩니다.

Cross-WS는 workspace별 domain과 capability를 요약한 뒤 TF-IDF nearest-neighbor search로 후보 쌍을 찾고, LLM judge가 참조 workspace의 기능을 대상 workspace가 필요로 하는 방향성 dependency를 판정합니다. 대상은 쓰기 가능하게, 참조는 별도 경로의 읽기 전용으로 마운트하며, query에는 참조의 내부 구현 대신 경로와 대상에서 관찰할 동작만 넣습니다. solver는 두 codebase를 직접 읽고 참조 기능을 대상에 맞게 적용해야 합니다.

Multi-Round는 초기 query 이후 workspace를 유지하고 user agent가 requirement tracker를 갱신하면서 최대 여섯 번의 후속 라운드를 생성합니다. 각 라운드 전에 새 acceptance test와 active regression check를 준비하고, test runner 결과를 user-visible complaint로 변환해 coding agent에 전달합니다. 실패 라운드는 이후 성공적으로 복구되면 보존하고, 종료 시 연속 실패 suffix는 제거하며 최소 두 개의 통과 라운드를 가진 세션만 선택합니다.

학습 데이터 생성에서는 Qwen3.7-Max가 task, solution, verifier 관련 model-driven 작업을 수행하고, rollout은 Claude Code scaffold 안에서 실행됩니다. Single-WS와 Cross-WS는 최종 workspace에서 모든 pytest가 통과해야 채택하며, Multi-Round는 라운드별 검증 기준을 적용합니다. 채택된 궤적은 decontamination 후 SFT 시연으로 변환됩니다.

주요 결과

공개 terminal-agent 궤적에서 68,263개 reconstructed environment를 만들었고, agentic completion은 평균 파일 수를 2.9개에서 22.4개로 늘렸습니다. Terminal workspace의 충분성 비율은 deterministic replay만 사용했을 때 40.2%였지만 completion 뒤 93.5%로 상승했으며, 최종 task-sufficient 환경은 37,273개였습니다.

Single-WS 25,386개, Cross-WS 3,512개, Multi-Round 3,079개로 구성된 31,977개 SFT 시연을 만들었고, 약 1.42B training tokens를 확보했습니다. Full Mixture로 학습한 Qwen3.5-27B는 Terminal-Bench 2.0에서 52.8%, Terminal-Bench 2.1에서 58.1%, EvoCode-Bench v2에서 MT@4 20.1%와 Case score 76.1%를 기록했습니다.

원래 궤적을 모방한 SFT의 평균 Terminal-Bench 2.1 점수는 36.7%였지만, 복원 환경에서 과제를 다시 푼 Intent Recovery는 52.1%였습니다. Agentic completion을 제거하면 48.7%로 내려가고, completion을 포함하면 52.9%가 되어 4.2포인트 차이가 났습니다.

Cross-WS를 Single-WS에 추가하면 Terminal-Bench 2.1 점수가 56.4%에서 58.4%로 상승했습니다. Multi-Round를 추가하면 EvoCode-Bench v2 MT@4가 18.4에서 21.0, Case score가 71.9에서 76.9로 올라갔으며, 라운드 검증을 제거하면 각각 18.8과 73.2로 낮아졌습니다.

기술 상세

초기 workspace는 궤적 τ의 각 접근 경로에서 가장 이른 관측 파일을 모아 구성합니다. 에이전트가 생성한 파일은 제외하고 변경 기록은 별도 보관하므로, solver가 이미 정답을 받은 상태로 시작하지 않습니다. 파일 일부만 출력됐거나 terminal output이 잘린 경우에는 completion agent가 누락 부분을 채우지만, 원래 task 구현 자체는 수행하지 않습니다.

Cross-WS의 workspace 관계는 각 workspace의 domain과 capability profile을 만든 뒤 TF-IDF nearest-neighbor search로 후보를 좁히고 LLM judge가 directional dependency를 선택하는 흐름입니다. 최종 task는 writable target과 read-only reference를 함께 사용하며, reference의 내부 세부사항을 prompt에 공개하지 않아 solver가 경로를 탐색하고 구현을 적응시켜야 합니다.

Multi-Round에서는 requirement tracker가 active, satisfied, updated 요구사항을 기록합니다. 새 specification이 커밋되면 verifier가 해당 라운드의 acceptance test를 만들고, test runner는 새 조건과 기존 regression check를 함께 평가합니다. coding agent는 test script와 traceback에 직접 접근하지 못하며, user agent가 구조화된 실패 결과를 자연어 feedback으로 변환합니다.

Rollout은 Qwen3.7-Max를 teacher로 사용하며 temperature 1.0, top-p 0.95, 256k-token context window, turn당 최대 65,536 tokens, 176k tokens에서 proactive summarization, 최대 500 agent turns, 4시간 timeout을 적용합니다. Qwen3.5-27B SFT는 두 epoch, learning rate 7 × 10^-6, global batch size 256, sequence length 256k로 수행합니다.

환경은 표준 ubuntu:24.04 container와 network access에서 실행됩니다. Single-WS와 Cross-WS는 최종 상태의 모든 test가 통과해야 채택하고, Multi-Round는 최소 두 개의 verified passing round를 요구합니다. 37.3k개 task-sufficient 환경에서 verifier-filtered 32.0k개 기록을 학습에 사용합니다.

한계점

모든 workspace를 repository별 환경 대신 표준 Ubuntu 24.04 container에서 실행하므로 특수 system dependency나 복잡한 compilation 단계가 필요한 사례에서는 fidelity가 낮아질 수 있습니다. 복원 workspace의 domain, language, toolchain 분포는 수집된 source trajectory의 범위에 제한됩니다. 또한 하나의 teacher가 task, solution, verifier를 모두 생성하므로 teacher의 capability gap이 task coverage를 제한하거나 잘못된 solution을 verifier가 놓칠 가능성이 있습니다.

실무 활용

기존 terminal-agent rollout을 실행 가능한 workspace와 검증 가능한 SFT 데이터로 재사용하는 데이터 구축 파이프라인입니다. repository를 처음부터 만들거나 수작업으로 task를 구성하지 않고, 파일 상태 복원과 agentic completion을 거쳐 단일·교차·다중 라운드 학습 사례를 확장합니다.

기존 terminal-agent trajectory에서 solver가 다시 풀 수 있는 SFT task를 생성하는 데이터 파이프라인
서로 다른 codebase의 기능 이전과 component 연결을 학습하는 Cross-WS 과제 구성
사용자 요구사항 변경과 실패 복구를 포함하는 Multi-Round coding-agent 데이터 생성
agent-authored pytest와 round-level verification을 활용한 실행 궤적 선별

코드 공개 여부: 미확인

키워드

Terminal-Universe(trajectory 기반 환경 복원 framework)Agent Trajectory(에이전트 궤적)Workspace Reconstruction(환경 복원)Agentic Completion(에이전트 기반 보완)Cross-Workspace Synthesis(교차 workspace 합성)Multi-Round Session(다중 라운드 세션)Supervised Fine-Tuning(지도 미세 조정)

용어 해설

에이전트 궤적(Agent Trajectory): — 터미널 에이전트가 사용자 요청을 처리하며 수행한 명령, 파일 읽기·쓰기·수정, 실행 결과를 시간 순서대로 기록한 데이터입니다. 한 번의 해결 과정을 담은 고정 시연이므로 같은 작업을 다시 실행하거나 다른 작업으로 변형하려면 별도 환경 구성이 필요합니다.
결정적 재생(Deterministic Replay): — 기록된 파일 읽기·쓰기·수정 작업을 시간 순서대로 다시 실행해 에이전트가 변경하기 전의 파일 상태를 복원하는 과정입니다. 궤적에 직접 드러난 파일만 되살리므로 누락된 파일과 의존성은 후속 completion 단계에서 보충해야 합니다.
에이전트 기반 보완(Agentic Completion): — 결정적 재생으로 얻은 부분 workspace에 에이전트가 누락된 파일, 잘린 파일 내용, 실행 의존성을 추가하는 과정입니다. 원래 과제를 해결하지 않고 과제 수행에 필요한 실행 맥락만 복구해 재구성 환경의 충분성을 높입니다.
교차 workspace 합성(Cross-Workspace Synthesis): — 서로 다른 코드 workspace의 기술 영역과 구현 기능을 연결해 여러 codebase를 함께 사용하는 과제를 만드는 방식입니다. 쓰기 가능한 대상 workspace와 읽기 전용 참조 workspace를 결합해 기능 이전이나 component 연결을 요구합니다.
다중 라운드 세션(Multi-Round Session): — 초기 coding 요청 이후 workspace 상태를 유지하면서 사용자 요구를 추가·수정·대체하는 상호작용 과정입니다. 각 라운드에서 acceptance test와 회귀 검사를 실행하고, 실패 결과를 자연어 feedback으로 바꿔 다음 수정에 반영합니다.
지도 미세 조정(Supervised Fine-Tuning): — 입력과 정답 응답으로 구성된 시연 데이터에 맞춰 모델의 가중치를 추가 학습하는 방법입니다. 이 논문에서는 verifier를 통과한 terminal-agent 해결 궤적을 사용해 Qwen3.5-27B가 단일 요청과 지속형 다중 라운드 작업을 수행하도록 학습합니다.

에이전트 궤적을 실행 가능한 Terminal 환경으로 복원하는 방법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

LLM 확률 평가로 에이전트 궤적을 선별하는 검증 프레임워크

소스 의도와 실행 상태를 보존하는 터미널 작업 합성

2026년 AI 코딩 에이전트 오픈소스 벤치마크 10선

LLM 에이전트 Skill의 작동 원리와 실패 경계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

LLM 확률 평가로 에이전트 궤적을 선별하는 검증 프레임워크

소스 의도와 실행 상태를 보존하는 터미널 작업 합성

2026년 AI 코딩 에이전트 오픈소스 벤치마크 10선

LLM 에이전트 Skill의 작동 원리와 실패 경계