에이전트 시스템에서 모델의 의도와 하니스 실행 간극을 좁히는 방법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트 성능 저하는 모델 자체의 추론 능력뿐 아니라 모델이 의도한 행동을 실행하는 하니스의 설계에 기인하며, Amazon 연구진은 Simple Strands Agent라는 경량 하니스를 통해 편집에서의 고유 앵커 요구, 부분 텍스트 교체 회피, 편집 후 diff 반환 같은 실행 전·후의 관리와 추론-도구 호출 균형(‘reasoning nudge’)을 결합하여 의도-실행 간극을 축소했다. 이 접근은 SWE-Bench-Pro(731개), SWE-Bench-Verified(500개), Terminal-Bench-2(89개)에서 각 모델을 다섯 차례 반복 평가한 결과 일관된 pass@1 향상을 보였고 제약 환경과 무제약 환경의 정확도 차이는 일반적으로 5~10%로 관찰되었다. 또한 하니스 설계는 모델군별 도구 사용 선호도를 존중하는 최소 적응을 전제로 할 때 가장 효과적이었으며, 인프라 신뢰성·타임아웃·동시성 같은 시스템 요인이 벤치 결과에 실질적 영향을 미쳤다. 최종적으로 SSA의 코드·도구·프롬프트·모델 설정이 공개되어 재현 가능성이 확보되었다.

빠른 이해

새로운 점

하니스 설계의 미세한 구현 세부를 표준화하고 최소 적응만으로 여러 모델군에서 일관된 성능 향상을 보여준 점

핵심 메커니즘

모델 출력의 모호성을 실행 전에 줄이는 앵커 강화와 편집 후 diff 피드백을 결합하고, 내부 추론과 외부 도구 호출 사이에 'reasoning nudge'를 적용하여 입력→도구 호출 및 편집 실행→diff 관찰의 루프를 통해 의도-실행 간극을 축소한다

핵심 수치

SWE-Bench-Pro 샘플 수: 731- 각 모델은 전체 벤치마크에서 5회 반복 실행되어 총 3,655 trials로 신뢰구간 계산
SWE-Bench-Verified 샘플 수: 500- 각 모델은 5회 반복 실행되어 총 2,500 trials로 신뢰구간 계산
Terminal-Bench-2 샘플 수: 89- 각 모델은 5회 반복 실행되어 총 445 trials로 신뢰구간 계산
무제약 대비 제약 평가 격차: 5-10%- Terminal-Bench-2에서 메모리·타임아웃 제약 제거 시 관찰된 정확도 상향폭
AWS 인프라 한계로 인한 SSA 평가 상한 손실: 0.41%- SWE-Bench-Pro에서 AWS 특유 환경 때문에 발생한 근사 상한 손실(3개 인스턴스)

섹션별 상세

문제 정의와 동기

에이전트 성능 저하는 단순히 모델 능력의 문제가 아니라 모델과 하니스 간의 인터페이스 문제로 귀결된다는 관찰이 연구의 출발점이었다. 모델이 의도한 행동을 하니스가 정확히 해석해 실행하고, 실행 결과를 모델이 정확히 해석할 수 있어야 에이전트 성능이 유지된다고 규정되었다. 이러한 의도-실행 간극(intent-execution gap)을 줄이면 모델별 특수 튜닝 없이도 여러 벤치마크에서 일관된 성능 향상을 얻을 수 있다는 가설을 세우고 이를 검증하기 위해 설계 원칙과 도구를 제안했다.

도구 인터페이스 실패 사례와 해결 원칙

파일 편집과 터미널 호출 같은 강력한 도구는 출력 길이·문맥 중복·부분 텍스트 매칭 같은 현실적 문제를 유발하여 의도와 실행이 어긋나는 주요 원인이었다. 모호한 치환 요청에는 실행 전 추가 문맥을 요구하여 치환 대상이 고유해지게 하는 방식과 전체 라인 또는 명확한 스팬을 기준으로 편집을 적용하는 방식이 효과적으로 작동했다. 또한 편집 후 단순 성공 알림 대신 diff 파일을 반환하여 모델이 하니스가 실제로 무엇을 변경했는지를 검증할 수 있게 함으로써 이후의 불필요한 수정 비용과 문맥 오염을 줄였다.

편집 검증과 상태 관찰의 역할

편집이 적용된 이후에 diff를 제공하면 모델이 변경 위치, 부수적 라인 변경 여부, 추가 수정을 판단할 수 있는 관찰 채널이 생겼다. 다만 diff는 사후 검증 수단이므로 모호성을 실행 전에 해소하는 접근이 우선되어야 하며 실행 후 검증은 롤백·수정이라는 비용을 유발할 수 있다. 실행 전에 명확한 앵커를 요구하고 부분-라인 교체를 피하는 규칙은 초기 오류 발생을 줄여 전체 추론 토큰 예산과 의사결정 효율을 개선하는 효과를 냈다.

추론과 도구 호출의 균형 전략

내부적 Chain-of-Thought(사고 과정)를 무한정 연장하면 모델이 환경에 대한 가정을 형성하여 검증을 건너뛰는 반면 도구 호출을 너무 자주 하면 과도한 외부 상호작용으로 비용과 지연이 커질 수 있다는 균형 문제가 존재했다. 연구진은 'reasoning nudge'라는 개념을 도입하여 모델이 다음 행동을 정하기에 충분한 수준의 사고를 하되 우선적으로 도구로 검증을 얻도록 유도하는 전략을 적용했다. 모델군별 성향 차이를 확인했으며 일부 모델군에는 수치적 목표(예: 50회 이상 도구 호출)로 행동을 유도하고 다른 모델군에는 유연한 권고(

용어 해설

Intent-Execution Gap: — 모델이 출력한 의도(예: 어떤 코드 변경을 원함)와 하니스가 실제로 수행한 실행(예: 편집 적용 결과) 사이의 불일치로, 불충분한 편집 범위·부분 텍스트 매칭·모호한 컨텍스트 전달 등이 원인이며 에이전트의 정확성과 일관성에 직접적 영향을 미친다.
Agent Harness: — LLM과 외부 도구 사이의 중개 소프트웨어로서 도구 호출, 실행 결과 수집, 반복적 사고-행동-관찰 루프 관리를 담당하며 잘못된 인터페이스 설계가 모델 성능 저하로 이어지므로 설계 원칙이 중요하다.
Diff File: — 편집 전후의 추가·삭제·변경된 텍스트를 보여주는 파일로서 하니스가 적용한 변경 사항을 모델에게 명시적으로 반환하여 실행 후 검증과 롤백·수정 결정을 가능하게 하는 관찰 채널 역할을 한다.
pass@1: — 한 번의 수정 라운드 이후에 자동화된 테스트를 통과한 코드 샘플의 비율을 가리키는 벤치마크 지표로서 에이전트의 즉각적 솔루션 능력을 평가하는 데 사용된다.

언급된 리소스

문서원문 링크