Agentic Abstention: 에이전트는 행동 대신 언제 중단해야 하는가

왜 중요한가

도구를 호출하면서 환경과 여러 차례 상호작용하는 에이전트는 단일턴 답변 시스템과 달리 중단 시점을 늦추거나 전혀 인식하지 못해 불필요한 비용과 오류를 초래한다. 이 논문은 그러한 순차적 중단 결정 문제를 정식화하고 28,000개가 넘는 과제를 통해 에이전트의 중단 능력을 대규모로 평가했다. 실험 결과는 단순한 능력 향상만으로는 해결되지 않는 시기적절한 중단의 중요성을 보여주며, 정책이 언제 중단해야 하는지를 학습하거나 컨텍스트로 보강하는 방법이 필요함을 입증했다.

핵심 기여

Agentic Abstention의 정의 및 POMDP 형식화

논문은 도구를 사용하는 에이전트가 순차적 상호작용 과정에서 언제 중단해야 하는지를 결정하는 문제를 Agentic Abstention으로 정의했다. 이 문제를 부분관찰 마르코프 결정과정(POMDP)으로 수식화하여 상태, 관찰, 행동(ANSWER, ABSTAIN, ACT), 그리고 역학을 명확히 제시했다. 해당 형식화는 중단이 정당해지는 시점 w_i 개념과 AbsRec@K 같은 시기적 평가 지표를 엄밀히 정의하는 데 사용되었다.

28,000개 과제를 포함한 통합 벤치마크 구축

연구진은 WebShop, Terminal-Bench 2.0, 그리고 AbstentionBench에서 샘플을 취합하거나 수정해 총 28,000개 이상의 지시문으로 구성된 에이전틱 절제 벤치마크를 구성했다. Web 시나리오에서는 원래 해결 가능한 500개와 Request-based 및 Environment-based Abstention을 추가로 만들어 1,000개 인스턴트를 구성했으며, Terminal과 QA에도 유사한 방법으로 변형을 만들었다. 이 데이터셋은 요청 자체만으로 불가해성이 명백한 경우와 상호작용을 통해서만 불가해성이 드러나는 경우를 모두 포함해 중단 '시점' 문제를 연구할 수 있게 했다.

에이전트·스캐폴드·규모 효과의 체계적 실험

13개의 LLM-as-agent 구성과 2개의 에이전트 스캐폴드(예: Codex CLI, Terminus 2)를 포함해 다양한 모델·스캐폴드 조합을 벤치마크했다. 실험은 모델 규모, 추론·reasoning 모드, 스캐폴드 구조가 시기적절한 중단과 전체 중단 성능에 미치는 영향을 분리해 측정했다. 결과는 모델 능력 향상이 항상 시기적절한 중단으로 이어지지 않으며 스캐폴드와 상호작용 방식이 중단 행동을 크게 좌우함을 보여주었다.

convolve: 상호작용 궤적을 증류해 중단 규칙을 학습하는 컨텍스트 엔지니어링

convolve는 전체 상호작용 궤적을 reflection 모델이 분석하고 curator가 구조화된 플레이북으로 요약해 에이전트의 시스템 프롬프트에 주입하는 방식으로 동작한다. 이 방법은 모델 파라미터를 변경하지 않고도 시기적절한 중단 성능을 크게 개선하며, 실험에서 Llama-3.3-70B의 AbsRec@1을 26.7%에서 57.4%로 향상시켰고 AbsRec@10을 83.2%에서 100.0%로 끌어올렸다. convolve는 소규모(20개 궤적) 학습 데이터로도 유의미한 개선을 달성할 수 있었다.

핵심 아이디어 이해하기

에이전틱 절제 문제는 에이전트가 연속적 상호작용을 통해 점진적으로 정보를 획득하는 설정에서 발생한다. 전통적 LLM의 단일턴 abstention 문제는 '지금 답하거나 중단하라'는 한 번의 선택으로 정리되지만, 도구 사용 에이전트는 ACT(도구호출)를 반복할 수 있어 중단 시점이 뒤로 지연될 수 있다. 이로 인해 '초기 상태에서 해결 가능해 보이던' 과제가 상호작용을 통해 불가능하다는 사실이 드러날 때까지 에이전트가 계속 행동하는 현상이 발생한다.

본 논문은 이러한 순차적 의사결정 구조를 POMDP로 모델링해 관찰이 누적되는 과정과 정책의 히스토리 의존성 π(a_t|h_t)를 명확히 했다. POMDP 표기는 상태 s_t가 부분적으로 관찰 가능하고 관찰 o_t가 환경 함수 Ω에 의해 생성된다는 점을 수학적으로 표현한다. 이를 통해 '중단이 정당해지는 최초의 시점 w_i'라는 기준을 정의하고 AbsRec@K와 같은 시간 기반 성능 지표를 정량화할 수 있게 했다.

convolve의 직관은 과거 상호작용 궤적에서 어떤 관찰과 어떤 행동 조합이 중단을 정당화하거나 지연시켰는지 추출하는 것이다. 구체적으로, reflection 모델은 에피소드 궤적 τ^(k)를 입력으로 받아 어떤 관찰이 중단을 불러왔는지와 어떤 행동이 지연을 초래했는지 신호 y^(k)로 변환한다. curator는 이 신호들을 요약해 구조화된 플레이북을 만들고, 이후 에피소드의 시스템 컨텍스트에 플레이북을 포함시켜 모델이 동일한 상황에서 더 빠르게 중단 결정을 내리도록 돕는다.

방법론

전체 접근 방식은 세 가지 축으로 구성된다: 문제 정의 및 평가척도 설계, 데이터셋 구성, 그리고 컨텍스트 기반 학습 방법 convolve의 구현이다. 문제 정의 단계에서는 Agentic Abstention을 POMDP로 형식화하고 AbsRec@K, Timely Recall(AbsRec@w_i), AbsRec@10, SPL, 과도한 중단률(over-abstention) 등의 지표를 도입해 시기와 전체 복구력을 분리해서 측정했다. 이 지표들은 중단이 정당해지는 시점 이전의 조기 중단은 정답으로 간주하지 않는 평가 규칙을 포함해 실험적 일관성을 확보했다.

데이터 구성에서는 WebShop, Terminal-Bench 2.0, AbstentionBench에서 원본 인스턴스를 유지하거나 변형해 총 28,000개 이상의 인스턴스를 만들었다. Web 시나리오에서는 원본 500개를 보존하고 Request-based(문장 자체 불가해) 249개와 Environment-based(Missing Target) 251개를 추가해 1,000개 세트를 구성했다. Terminal에서는 원본 89개를 포함해 환경을 변경하거나 지시문을 재작성해 총 277개 인스턴트를 만들었고 QA에서는 AbstentionBench의 16개 데이터셋 하위집합을 사용해 27,073개 샘플을 준비했다.

convolve 파이프라인은 롤아웃 단계, 반성(reflection) 단계, 큐레이션 단계, 그리고 플레이북 인젝션 단계로 나뉜다. 각 트레이닝 에피소드에서 에이전트는 환경과 상호작용해 궤적 τ^(k)를 생성하고, reflection 모델이 τ^(k)로부터 중단 관련 신호 y^(k)를 추출한다. curator는 이 신호를 고정 섹션 구조로 정리해 플레이북을 업데이트하고, 이후 평가 단계에서는 해당 플레이북을 시스템 프롬프트에 추가해 모델 파라미터 변경 없이 중단 성능을 개선한다. 실험 설정에서는 convolve 학습에 20개의 예시 궤적을 사용하고 플레이북 버짓과 토크나이제이션 한도를 명시적으로 관리했다.

주요 결과

전반적으로 에이전트의 중단 능력은 시기 문제로 인해 여전히 어려움을 보였다. Web 시나리오에서 대부분의 모델은 AbsRec@10에서 0.5 미만의 성능을 보였고 AbsRec@1(시기적절한 중단)은 대체로 0.0–0.3 범위에 몰려 있었다. Terminal 시나리오에서는 동일한 베이스 모델이라도 스캐폴드 차이로 성능 편차가 크게 나타나 Codex CLI가 Terminus 2보다 월등히 높은 AbsRec@10(약 0.38 대 0.18)을 기록했다.

세부 실험에서는 모델 규모, reasoning 모드, 스캐폴드가 서로 다른 방식으로 중단 성능에 영향을 미쳤다. 모델 규모는 주로 전체 중단 복구력(AbsRec@10)을 개선했지만 시기적절한 중단(AbsRec@1)은 거의 개선하지 못했다. reasoning을 늘리면 일부 경우에 AbsRec@1이 개선되었으나 AbsRec@10은 감소하는 등 타협이 관찰되었고, Web 시나리오에서는 상호작용이 길어질수록 과도한 중단율이 커지는 현상이 확인되었다.

convolve의 적용은 시기적절한 중단을 크게 개선했다. WebShop 실험에서 Llama-3.3-70B의 AbsRec@1은 베이스 26.7%에서 convolve 적용 후 57.4%로 상승했고 AbsRec@10은 83.2%에서 100.0%로 상승했다. 이 개선은 단지 20개의 트레이닝 궤적로도 가능했으며, 작은 모델이 만든 플레이북이 더 큰 모델로 전이되어 유의미한 성능 향상을 제공할 수 있음을 보였다.

기술 상세

아키텍처 관점에서 논문은 에이전트 상호작용을 POMDP ℳ=(𝒮,𝒜,𝒪,T,Ω,R)로 정의했고 행동 집합을 {ANSWER, ABSTAIN, ACT}로 제한했다. 입력으로 초기 지시 x와 누적 관찰 o_1...o_t를 포함하는 히스토리 h_t를 사용하며 정책 π(a_t|h_t)가 히스토리 기반 확률 분포로 행동을 선택한다. 평가 지표는 각 인스턴스에 대해 중단이 정당해지는 최초 시점 w_i를 주어 AbsRec@K를 계산하도록 설계되었다.

convolve의 수학적·알고리즘적 구성은 에피소드 롤아웃 τ^(k)=(x^(k),o_1^(k),a_1^(k),...,o_Tk^(k),a_Tk^(k))을 생성한 뒤 reflection 함수 φ(τ^(k))로부터 에피소드 수준의 신호 y^(k)를 생성하는 단계로 이루어진다. 이어서 업데이트 연산자 𝒰(c^(k),τ^(k),y^(k))가 기존 컨텍스트 c^(k)에 새로운 플레이북 항목을 추가해 c^(k+1)을 만든다. 플레이북은 고정 섹션 구조를 가지며 curator는 reflection 출력의 요약을 정형화된 추가 연산으로 삽입한다.

구현 세부사항으로는 playbook·reflection·curator의 토큰 제한과 truncation 전략이 명시되어 있다. 롤아웃과 reflection 모델은 최대 1024 토큰을, curator는 512 토큰을 사용했고 플레이북 예산은 80,000 토큰으로 설정되었다. 컨텍스트 오버플로를 피하기 위해 curator 입력은 결정론적으로 6,000 토큰으로 잘라 처리하고 최근 reflection에는 최대 1,200 토큰을 예약했다. 학습은 오프라인으로 한 epoch 동안 수행했고 에피소드당 최대 두 번의 reflection/update 라운드를 허용했다.

데이터 분할과 실험 설계에서 WebShop의 abstention 전용 하위집합을 사용해 500개 중 20개를 convolve 학습에, 8개를 검증에, 101개를 평가용 held-out으로 배치했다. 분할은 시나리오별(stratified)로 이루어져 동일 기반의 변형이 서로 다른 집합에 섞이지 않도록 그룹화했다. 이런 구성은 플레이북이 과적합되지 않고 일반화되는지 평가하는 목적을 가진다.

한계점

논문은 평가 범위를 WebShop, Terminal-Bench 2.0, 그리고 AbstentionBench에서 파생된 시나리오로 제한해 모든 종류의 에이전트 환경을 포괄하지는 못했다. 연구진은 다양한 스캐폴드와 모델 조합을 선택적으로 평가했으며 모든 모델·스캐폴드 조합을 실험에 포함시키지 않았기 때문에 특정 조합에서의 일반화 가능성은 추가 검증이 필요하다. 또한 본 작업에서는 보상 최적화(reward optimization)를 목표로 삼지 않았고 POMDP에서의 보상 함수 최적화는 다루지 않아 강화학습 기반 접근과의 비교는 이루어지지 않았다.

실무 활용

convolve는 모델 파라미터를 변경하지 않고도 시스템 프롬프트에 재사용 가능한 중단 규칙을 주입해 시기적절한 중단을 개선한다. 실무적으로는 도구 호출 비용이 큰 환경에서 불필요한 상호작용을 줄이는 데 직접적으로 기여할 수 있다. 학습 데이터가 소량(예: 20개 트레이닝 궤적)이어도 플레이북 기반 보강 효과가 관찰되므로 데이터 수집 비용을 낮출 수 있다.

웹 쇼핑 에이전트에서 검색·클릭 비용을 줄이고 불가능한 상품 요청에 대해 조기 중단을 수행하는 경우
터미널 자동화 에이전트에서 환경의 전제 조건이 결여된 경우 불필요한 명령 실행을 차단하는 경우
대화형 QA 시스템에서 검색 호출을 반복하지 않고도 근거가 부족한 질문에 대해 조기에 중단 결정을 내리는 경우

코드 공개 여부: 공개

코드 저장소 보기

키워드

Agentic Abstention(에이전트의 순차적 중단 결정)convolve(컨텍스트 증류 기반 중단 규칙)POMDP(부분관찰 마르코프 결정과정)AbsRec(Abstention Recall 지표)WebShop(웹 쇼핑 시뮬레이터)Terminal-Bench(터미널 작업 벤치)

용어 해설

에이전틱 절제(순차적 중단 결정)(Agentic Abstention): — Agentic Abstention은 도구를 호출하며 환경과 상호작용하는 에이전트가 작업의 불가해성을 인식하고 더 이상의 행동을 중단하는 결정을 순차적 관점에서 내리는 문제이다. 이 개념은 단일턴의 답변·중단 결정과 달리 여러 차례의 도구 호출과 관찰을 거치면서 중단 시점이 뒤늦게 명확해질 수 있는 상황을 다룬다. 실무에서는 불필요한 도구 호출 비용과 오류 응답을 줄이기 위해 시기적절한 중단 판단이 중요하다.
부분관찰 마르코프 결정과정(POMDP): — POMDP는 에이전트가 환경의 전체 상태를 직접 관찰하지 못하는 상황에서 확률적 전이와 관찰 모델을 통해 의사결정을 수식화하는 프레임워크이다. 에이전틱 절제는 관찰이 점진적으로 누적되는 상호작용에서 중단 여부를 정책 π(a_t|h_t)로 결정하므로 POMDP로 자연스럽게 모델링된다. POMDP 표현은 중단 시점 w_i와 같은 개념을 명확히 정의하고 AbsRec@K 같은 시계열 평가를 설계할 때 필요하다.
Abstention Recall(AbsRec): — AbsRec@K는 중단이 정당해진 시점 이후 K턴 이내에 에이전트가 올바르게 중단한 비율을 측정하는 지표이다. 이 지표는 시기적절한 중단(예: AbsRec@1 또는 AbsRec@2)과 전체 중단 복구력(예: AbsRec@10)을 구분하여 평가한다. 평가에서 중요한 점은 중단이 정당해지기 이전에 수행한 조기 중단은 정답으로 처리하지 않는다는 규칙이다.
플레이북(재사용 가능한 중단 규칙 모음)(Playbook): — 플레이북은 convolve가 여러 상호작용 궤적을 요약해 생성하는 구조화된 규칙집으로, 에피소드별 반성(reflection) 결과를 간결한 규칙으로 축적한다. 에이전트의 시스템 프롬프트에 이 플레이북을 주입하면 모델 파라미터를 변경하지 않고도 중단 판단을 개선할 수 있다. 플레이북은 섹션별로 관리되어 후속 에피소드에서 재사용 가능하도록 설계된다.
과도한 중단(Over-abstention): — Over-abstention은 실제로 해결 가능한 태스크에 대해 에이전트가 부적절하게 중단을 선택한 비율을 가리킨다. 본 논문에서는 상호작용이 길어질수록 불확실성이 누적되며 Web 시나리오에서 특히 과도한 중단율이 증가하는 경향을 보고했다. 이 지표는 중단 체계가 보수적으로 바뀔 때 발생하는 실무적 비용을 정량화한다.

Agentic Abstention: 에이전트는 행동 대신 언제 중단해야 하는가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드