ECHO: 터미널 에이전트가 비용 없이 월드 모델을 학습한다

다 Turn 터미널 환경에서 보상은 희소하고 지연되기 쉽다. 그러나 터미널 출력은 agent가 실행한 명령의 결과를 담은 실제 환경 피드백이다. 이 정보를 학습 신호로 직접 활용하면 실패 롤아웃에서도 환경이 어떻게 응답하는지에 대한 지식을 얻을 수 있다. ECHO는 GRPO의 정책-그래디언트 손실에 환경-observation 토큰의 교차 엔트로피 손실을 더해 같은 forward pass를 재활용하고, 추가 롤아웃 없이도 터미널 다이나믹스를 예측하는 보조 학습 신호를 제공한다. 이로써 환경 응답을 dense supervision으로 활용하는 것이 가능해지며, 온-정책 학습의 커리큘럼을 스스로 진화시키게 된다.

단계 1) 다-turn 터미널 환경에서 정책은 명령을 내리고, 환경은 stdout/stderr, 파일 내용, 테스트 결과 등의 텍스트 토큰으로 반응한다. 이 토큰들은 이미 rollout에 포함되어 있지만 학습 손실에 사용되지는 않았다. 단계 2) ECHO는 LGRPO에 LEnv를 더해, 환경-observation 토큰의 확률을 예측하는 교차 엔트로피를 이용한 보조 손실을 추가한다. 단일 forward pass를 재사용하므로 추가 롤아웃이 필요 없고, 정책은 자신의 rollouts에서 얻은 환경 반응을 예측하도록 학습한다. 단계 3) 이 보조 신호는 on-policy로 작동하므로 정책이 방문하는 새로운 터미널 상태에 따라 대상이 변화하고, 점진적으로 세계의 동적 특성을 학습하게 된다. 결과적으로 환경 응답을 예측하는 능력이 강화되어, 점진적으로 더 나은 터미널 다이나믹스 모델링이 가능해진다.

단락 1: ECHO의 전체 접근은 GRPO의 정책-그래디언트 손실과 Environment-Prediction Loss를 결합하는 하이브리드 목적함수다. Ltotal = LGRPO + λ LEnv로 표현되며, λ는 손실 가중치이다. 동일한 로짓을 사용하므로 rollout이나 forward-pass를 추가로 수행할 필요가 없다. 단락 2: 관찰 토큰 중 O′에 속하는 환경 토큰에 대해 교차 엔트로피를 계산한다. LEnv = −(1/Z) Σt∈O′ log pθ(xt | x<t)이며, Z는 |O|로 정규화한다. 단락 3: O′는 env 토큰으로만 구성하고 경고 토큰은 제외한다. 경고 토큰은 정보 엔트로피가 낮아 학습에 거의 기여하지 않기 때문이며, env 토큰은 작업별 피드백(파일 이름, 테스트 실패 등)을 담아 계속 정보를 제공한다. 단락 4: λ=0.05로 고정하는 것이 실험적으로 안정적이며, 학습 중 터미널 출력의 통계가 변함에 따라 보조 신호가 자동으로 점차 줄어든다. 단락 5: 학습 세팅은 8 GPUs에서 500 GRPO 스텝, n=16 롤아웃 등이며, 16k 컨텍스트 창을 사용한다. 실험에선 val100, ITD, TB2 등 다양한 벤치마크를 사용한다.

메인 벤치마크에서 ECHO는 모든 시작 정책에서 개선을 보인다. TB2의 pass@1은 Qwen3-8B에서 2.70%에서 5.17%로, Qwen3-14B에서 5.17%에서 10.79%로 증가했다. 내부 평가(val100, ITD, TBLite)에서도 상승했고, TB2에서의 p@5도 증가했다. env-token cross-entropy 측정에서, Qwen3-8B의 val100/ITD/TBLite 구간에서 CE가 크게 감소했고, Qwen3-14B에서도 유의하게 감소했다. Expert SFT 격차의 절반을 회복하는 정도로, internal eval에서 OT-SFT+GRPO 대비 성능 격차를 크게 좁혔다. 또한 환경 예측 손실만으로 verifier가 없는 상황에서의 적응도 일부 케이스에서 성능 향상을 보였다. 학습 효율성 측면에서 ECHO는 8B에서 GRPO 대비 학습 시작 시점으로부터 더 빠르게 최적점에 도달하고, TB2의 timeout 비율을 감소시켰다. 8B의 TB2 timeout은 19.8%에서 9.0%로 감소했으며, completion_tokens도 감소했다. 14B에서도 plateau가 더 높은 수준으로 유지되며, 최대 성능은 GRPO보다 높았다.

아키텍처적으로 ECHO는 GRPO와 같은 단일 actor forward를 사용한다. 로그 확률 log pθ(xt | x<t)를 모든 토큰 위치에 대해 계산하고, A(액션 토큰) 위치에 대해서는 LGRPO를, O′(환경 토큰) 위치에 대해서는 LEnv를 구한다. LGRPO는 기존의 clipped policy-gradient 손실로 계산되며, A의 각 시퀀스에 대해 이익 Ât를 사용한다. LEnv는 - (1/|O|) Σt∈O′ log pθ(xt | x<t)로 정의되며, |O|로 정규화한다. 결과적으로 Ltotal = LGRPO + λ LEnv. O′는 env 토큰으로 한정하며 warnings 토큰은 제외한다. λ는 0.01~0.05 범위에서 실험적으로 안정적이며, 본 연구에선 λ=0.05를 고정했다. 학습 데이터는 8770개의 태스크에서 500 GRPO 스텝으로 학습되며, 16개의 롤아웃, 16k 컨텍스트 윈도우를 사용한다. 평가 기준은 val100, ITD, TB2이며, TB2에선 Terminus-2 해시를 사용한다.