LongHorizon‑Harness

긴 수행 과제를 다루는 에이전트는 단계별 오류 누적과 컨텍스트 부패 때문에 전체 목표를 달성하기 어려운 경우가 많습니다. LongHorizon-Harness는 태스크 상태를 실행 컨텍스트 밖에 명시적으로 유지하고 감사로만 상태를 갱신하도록 설계해 이러한 누적 오류와 자기 판단의 오염을 차단합니다. 그 결과 동일한 모델·실행 백엔드에서 WeaveBench PassRate를 51.8%에서 80.7%로, Terminal-Bench 2.1을 69.7%에서 77.2%로, OSWorld 2.0의 binary를 2.8%에서 8.3%로 올리는 실험적 개선이 관찰되어 장기 작업의 신뢰성과 복구력을 동시에 끌어올린다는 점에서 실용성이 큽니다.

장기 수행 과제에서는 개별 단계의 성공보다 여러 단계에 걸쳐 일관된 진척을 유지하는 것이 핵심 병목입니다. 기존 접근은 실행 기록과 태스크 상태를 동일한 계속 증가하는 컨텍스트에 섞어 두어 과거 오류가 이후 의사결정의 근거로 잘못 사용되는 문제가 발생합니다. LongHorizon-Harness는 상태를 외부에 명확히 유지하고 각 전이마다 독립 감사를 통해 환경에서 확인된 사실만 상태로 반영하도록 하여 오류 전파와 컨텍스트 붕괴를 차단합니다. 이로 인해 각 라운드가 독립적인 검증 단위가 되고, 검증된 진척만 누적되어 전체 목표 달성 신뢰성이 높아집니다.

입력으로 장기 태스크 T와 초기 환경 e_{0}를 받고, 시스템은 반복되는 Manage–Execute–Audit 라운드를 수행해 태스크 상태 S를 갱신합니다. 관리자는 현재 S와 누적 감사보고서 V를 읽어 bounded contract c를 생성하고, 실행자는 해당 계약과 참조된 감사보고서만을 받아 새 컨텍스트에서 환경을 변경한 뒤 실행보고 o를 반환합니다. 감사자는 읽기 전용 도구로 환경 e_i를 독립적으로 검사해 감사보고서 v를 생성하고 이 증거만으로 관리자가 S를 업데이트하도록 합니다. 실행 예산과 역할별 인터페이스가 엄격히 분리되며 실행자는 내부 추론과 궤적을 폐기하므로 다음 라운드는 검증된 상태만을 입력으로 사용합니다.

동일한 백본·백엔드 조건에서 LongHorizon-Harness는 도메인 전반에서 일관된 성능 향상을 달성했습니다. Qwen 3.7-Plus와 Claude Code를 기준으로 WeaveBench PassRate가 51.8%에서 80.7%로 상승했고 Terminal-Bench 2.1은 69.7%에서 77.2%로 개선되었으며 OSWorld 2.0의 binary completion은 2.8%에서 8.3%로 증가했습니다. 비용 측면에서는 Qwen 구성에서 평균 출력 토큰이 28.9K에서 104K로 증가했지만 벤치마크별 차이가 있어 WeaveBench는 2.3×, OSWorld는 3.6× 토큰 증가를 보인 반면 Terminal-Bench 2.1에서는 오히려 총 토큰이 24% 감소했습니다. 역할별 토큰 분포는 관리자가 전체의 2.08.1%만 사용하고, 감사자가 19.438.1%를 차지해 독립 감사가 주요 추가 비용 원천임을 시사합니다.

태스크 상태는 requirement, artifact, fact 같은 레코드로 구성되며 각 레코드는 completed, pending, blocked, untrusted 상태와 감사 증거 참조를 보유합니다. 관리자의 상태 업데이트는 $(S_{i+1}, q_{i+1}, c_{i+1}) = \Phi_{\mathrm{mgr}}(\mathcal{T}, S_i, V_i)$ 라는 형태로 정의되며 여기서 (S_i)는 라운드 시작 시의 상태, (V_i)는 누적된 감사보고서, (q_{i+1})는 execute/done/blocked/ask 중 하나를 의미합니다. 실행자는 $(e_i, o_i) = \Phi_{\mathrm{exec}}(\mathcal{T}, S_i, c_i; e_{i-1})$ 로 환경 전이를 수행하고 실행보고 o_i를 남기며 감사자는 $v_i = \Phi_{\mathrm{aud}}(\mathcal{T}, S_i, c_i, o_i; e_i)$ 로 읽기 전용 검사를 수행해 근거 기반의 감사보고서를 생성합니다. 운영 파라미터로는 실행자 예산 1800초, 관리자·감사자 예산 300초, 최대 라운드 N_{max}=25가 논문에 설정되어 있으며 AgentAdapter로 기존 백엔드를 bounded episode로 실행해 역할별 도구와 권한을 제한합니다.

프레임워크는 검증된 상태만 유지함으로써 실패의 전파를 줄이지만 그 자체로 모델의 능력을 새로 만들지는 못합니다. 논문 결과에서도 일부 분석 중심 작업에서는 개선 폭이 작거나 역효과가 있었으며 이는 시각 인식·수학적 추론·고급 코딩 같은 개별 능력이 성능 병목일 때 하니스만으로 해결하기 어렵다는 점을 시사합니다. 또한 독립 감사와 추가 라운드는 토큰 및 지연 비용을 증가시킬 수 있으며, 백본 모델의 능력에 따라 전체 비용-효율이 크게 달라지는 한계가 존재합니다.