SEAL: 에이전트와 학습 환경의 시너지적 공동 진화

에이전트의 능력 경계가 학습 중에 바뀌는 상황에서 학습 환경이 정적이면 실패 원인을 충분히 파악하기 어렵다. SEAL은 verifier-grounded diagnosis를 공유 신호로 삼아 학습 인터페이스를 실패 유형에 맞춰 진화시키고 정책 업데이트를 진단 가치로 가중한다. 이로써 소량의 데이터로도 다-turn 도구 사용에서 샘플 효율과 OOD 전이를 개선한다.

출발점: 다-turn 도구 사용 에이전트는 도구의 스키마와 실행 제약 하에서 점차 복잡한 작업을 수행한다. 기존 방법은 정책 학습과 학습 환경의 변화가 분리되어 있어, 정책의 한계가 바뀌어도 환경이 이를 따라가지 못하는 경우가 많다. 이로 인해 실행 중 발생하는 구체적이고 재현 가능한 실패 원인을 정확히 파악하기 어렵다. 해결 원리: verifier-grounded diagnosis를 학습 신호로 활용하고, 이를 바탕으로 학습 인터페이스 Ω_t를 실패 유형에 따라 단계적으로 조정한다. 이렇게 환경 설계가 정책의 현재 약점을 직접 겨냥하도록 바꿔가면서, 정책 업데이트는 진단의 학습 가치에 비례해 가중된다. 달라지는 점: ① 실패 유형에 따라 tool affordance, 실행 제약, 회복 피드백을 명시적으로 노출하는 학습 인터페이스를 구성한다. ② 실패에 따른 진단 가치를 GRPO의 어드밴티지에 반영하여 샘플 효율을 높인다. ③ 공동 진화를 통해 BFCL V3에서 400 샘플의 데이터로도 평균 성능이 크게 향상되고, OOD 전이가 가능해진다.

단락 1: SEAL의 전체 접근 방식은 학습 환경의 인터페이스를 실패 진단(Z(τ))을 통해 진화시키고, 진단 정보를 정책 최적화에 가중치로 반영하는 것, 즉 환경 진화와 모델 학습의 상호작용이다. 입력 q와 정책 π_θ가 환경 ℰ에서 on-policy로 상호작용하여 τ를 생성하고, Verifier 𝒱가 이를 r(τ)로 평가한다. Z(τ)는 Ψ(τ, ℰ, 𝒱)에 의해 구성된 turn-level 진단이다. 단락 2: Verifier-grounded Diagnosis는 각 턴 i에서 z_i ∈ 𝒵로 표현되는 dominannt 실패 모드를 할당하는 규칙 기반 분류기이다. z_i = Ψ(a_i, ξ_i, s_{i-1}, s_i, 𝔽)로 정의되며, 실패 유형은 invalid_tool_call, argument_mismatch, state_mismatch, recovery_failure, missing_tool_call, response_mismatch 등으로 구분된다. 이 진단은 벤치마크의 r(τ)와 병합되나, 보상은 원래의 verifier를 변경하지 않는다. 단락 3: Learning-Interface Evolution은 Ω_t가 o_i, ℱ, H_t, C_t를 입력으로 받아 õ_i를 생성하는 방식으로 작동한다. Ω_t = o_i ⊕ φschema(ℱ) ⊕ φerr(o_i, H_t) ⊕ φcap(C_t) 형태의 인터페이스를 구성한다. φschema는 도구 스키마의 인자, 타입, 유효 형식 등을 노출하고, φerr은 실행 오류를Recovery-oriented 피드백으로 변환하며, φcap은 현재 실패 프로필에서 반복되는 실패 유형에 맞춘 제약/가이드 정보를 추가한다. 단락 4: Diagnosis-Guided Advantage Reweighting은 각 traj. j의 진단 프로필 p_j(z)와 ρ(z) 값을 이용해 traj. j의 가치를 w_j로 축소/확대하고, A_e_j = w_j A_j를 통해 어드밴티지를 재가중한다. ρ(z)는 실패 유형의 학습 가치를 나타내며, clipping으로 과도한 업데이트를 억제한다. 이때 벤치마크 보상은 바뀌지 않는다. 단락 5: SEAL Training Loop은 round t에서 Ω_t로 구성된 환경 ℰΩ_t 하에서 N개의 τ_j를 수집하고, r_j와 Z(τ_j)를 계산한 뒤, C_t를 Agg로 축적한다. 그런 뒤 A_j를 바탕으로 GRPO를 통해 θ를 업데이트하고, Ω_t+1을 U(Ω_t, C_t)로 진화시킨다. 이 루프가 학습 환경과 정책의 상호적 진화를 형성한다.

4사이클 실험 결과를 요약한다. BFCL V3 다-turn 벤치마크에서 400 샘플 학습 하이브리드 비교를 수행했다. Qwen2.5-3B-Instruct의 경우 Vanilla RL 대비 SEAL의 평균 점수는 14.00으로, Vanilla RL의 9.25에 비해 +4.75 포인트 증가이며, 원문 표에선 +8.25의 차이가 제시된다. Qwen2.5-7B-Instruct의 경우 Vanilla RL 대비 SEAL의 평균 점수는 40.25로, Vanilla RL의 30.75에 비해 +9.50 포인트 증가이며, 표에선 +26.25의 차이로 제시된다. ToolACE-2-Llama-3.1-8B의 경우 SEAL의 평균 점수 46.75로 Vanilla RL 38.50 대비 +8.25 포인트 증가했다. 전체적으로 SEAL은 세 백본에서 모두 Vanilla RL 대비 상승을 보였으며, 평균적으로 +8.25, +26.25, +14.75의 Gains를 기록한다. Out-of-Distribution(OOD) 전이에서도 BFCL V4와 𝜏2-bench에서 SEAL의 개선이 확인된다. Qwen2.5-3B-Instruct의 BFCL V4에서 8.63%로 상승, 𝜏2-bench에서 11.76% 상승했고, Qwen2.5-7B-Instruct의 BFCL V4에서 12.71%로 상승, 𝜏2-bench에서 20.79% 상승했다. Ablation 연구에서 Diagnosis-Guided Reweighting 제거 시 성능 하락이 가장 크며, Environment-Side Adaptation 제거도 여전히 유의미한 향상을 보인다. Combined SEAL(전체 구성)에서 BFCL V3 멀티턴 평균 40.25%를 달성, Vanilla RL의 30.75% 대비 +9.50 포인트의 차이를 보였다. Training Dynamics에서는 SEAL이 Missing Functions, Missing Parameters에서 더 빠르게 수렴하고, Long Context에서도 더 나은 최종 정확도를 달성하는 경향을 보인다. 이로써 진단-환경-정책의 연쇄적 상호작용이 샘플 효율성과 안정성에 기여한다.

단락 1: SEAL의 전체 아키텍처는 학습 환경 E, 실행 가능한 도구 세트 F, 평가용 검증자 V, 그리고 도메인에 따라 변화하는 학습 인터페이스 Ω_t로 구성된다. 턴 단위로 수집된 τ를 바탕으로 r(τ)와 Z(τ)를 계산하고, Agg를 통해 현재 실패 프로필 C_t를 갱신한다. 단락 2: Z(τ)의 구성은 z_i ∈ 𝒵로 표현되는 turn-level 진단이며, Ψ( a_i, ξ_i, s_{i-1}, s_i, ℱ )로 결정되는 규칙 기반 분류기이다. z_i의 정의는 invalid_tool_call, argument_mismatch, state_mismatch, recovery_failure, missing_tool_call, response_mismatch 등의 계층으로 분류된다. 3/4: Ω_t의 세 구성 요소는 φschema, φerr, φcap으로 구성되며, o_i에 도구 스키마의 제약, 실행 오류에 대한 Recovery 피드백, 실패 프로필 기반의 도메인별 힌트를 주입한다. 5: A_e_j = w_j A_j의 가중 합성으로 GRPO 업데이트를 수행하며, w_j은 p_j(z)와 ρ(z)로 계산된 trajectory-level 진단 가중치이다. 6: 학습 루프은 round t에서 prompts를 샘플링하고, N개의 τ_j를 ℰΩ_t에서 수집한 뒤, r_j, Z(τ_j)를 계산하고, Agg(C_t)를 통해 인터페이스를 진화시키며, A_e_j로 GRPO를 수행한다. 이때 벤치마크 보상 r(τ)와 Z(τ) 자체는 변경되지 않는다.

SEAL은 실행 가능한 도구 시그니처, 실행 추적, 검증기 피드백을 필요로 하므로 비정형적 도메인에서는 더 풍부한 진단 메커니즘이 필요하다. 환경 진화는 보장을 위한 보수적 설계를 채택하므로 도구 시맨틱스나 평가 규칙의 변경 범위가 제한된다. 진단 유효성 가중치 ρ(z)는 태스크 및 백본 간에 고정되며, 도메인 간 일반화는 아직 도전적이다.