스킬 프로그램으로 LLM 에이전트의 실행 제어를 구현하는 HASP 프레임워크

텍스트로 제시된 스킬은 조언 수준에 머물고 정책 루프에 실제로 개입하는 실행 가능 인스트루먼트로 작동하지 않는다. HASP는 스킬을 Program Functions(PFs)로 변환해 인퍼런스 시점, 이후(post-training), 또는 자기 개선(self-improvement) 시점에 실행 개입을 수행하도록 구성한다. 이를 통해 에이전트의 실패 패턴을 런타임에 수정하고, PF 기반의 피드백을 통해 학습 루프를 강화한다. 웹 검색, 수학 추론, 코딩 등 다양한 도메인에서 기법의 유효성을 보이며, PF-선별과 라이브러리 진화를 통해 지속적 개선이 가능하다.

1. 문제 인식: 텍스트 기반의 스킬은 실제 실행 제어를 제공하지 못한다. 2) 해결 원리: HASP는 스킬을 PF로 변환하고, 현재 상태와 제안된 다음 행동을 입력으로 받아 개입 여부를 결정한 뒤 실행을 수정하거나 맥락을 주입한다. 3) 동작 방식의 핵심: PF는 두 가지 주된 개입 방식인 ACTION 수정(MODIFY_ACTION)과 CONTEXT 주입(INJECT_CONTEXT)을 사용하며, Activation Predicate에 의해 트리거된다. 4) 신호 체계의 역할: 4가지 PF 신호를 결합해 개입의 타이밍과 형태, 유효성 및 효과를 평가하고 이를 정책화/internalization 혹은 라이브러리 진화에 연결한다. 5) 전체 효과: 실행 시점의 개입만으로도 성능이 향상되고, 후훈련으로의 내부화와 외부 PF 라이브러리의 진화를 통해 장기적으로 안정적 개선이 가능하다.

PF 인터페이스: PF는 should_activate(context, action_type, arg) -> bool 와 intervene(context, action_type, arg, teacher=None) -> Intervention를 구현한다. PF의 Intervention 타입은 MODIFY_ACTION, INJECT_CONTEXT, NOOP 중 하나이며, new_action_type/new_action_arg/context_text/reason/skill_id를 포함한다. PF Dispatcher는 현재 st와 orig_a_t를 받아 활성 PF를 선별하고 Γ 연산자를 통해 수정된 행동 ã_t, 수정된 맥락 c_t, fired PF들의 목록 κ_t를 산출한다. PF는 실패 사례에서 파생되며 실행 가능한 형태로 라이브러리에 추가된다. 인퍼런스 타임 HASP는 base policy πθ와 외부 툴킷 K를 활용해 PF를 순차적으로 적용한 후 수정된 행동을 다시 정책 루프로 보낸다. 포스트-트레이닝에서 PF 활성화 기록 et=(st, a_orig_t, ã_t, c_t, κ_t, ∆t)을 수집하고 At=(t_t, m_t, q_t, o_t) 4신호로 점수를 매겨 PF-score를 산출한다. 학습 경로는 SFT, RS, OPD 중 하나를 선택하며, PF-corrected trajectory를 학습 데이터로 사용한다. Self-improvement 단계에서 residual failures를 재분류해 후보 PF를 제안하고, Qexec(Qexec)와 Qteach(Qteach)의 임계치를 만족하는 PF만 라이브러리에 반영한다. datasets는 web-search, math, coding으로 구성되며 backbone으로 Qwen2.5-7B-Instruct를 사용하고 LoRA를 적용한다.

메인 벤치마크에서 inference-time PF 개입은 웹-검색 추론에서 평균 정확도 51.0%(PF-only)에서 교사 추가 시 56.2%로 상승. 라이브러리 내부화를 통한 post-training은 60.3% 웹-검색 평균에 이르는 성과를 보여주고, 수학에서 45.4%, 코딩에서 69.9%의 평균 pass@1를 달성한다. PF 트리거는 65.1%가 액션 레벨 개입, 34.9%가 맥락 레벨 개입으로 나타났다. PF 활성화는 decompose_complex_question, insufficient_exploration, answer_completeness 등에 집중되며, 신호의 각 구성 요소(timing, mode, correctness, outcome)가 전체 시스템 성능에 기여한다. Self-improvement는 50회 내외의 PF 버전을 생성하고, max_library_size를 50으로 제한하는 등의 필터링 원칙을 적용한다.

HF 논문 본문에 제시된 PF 설계 및 HASP 프레임워크의 구성 요소를 요약하였다. PF 인터페이스의 should_activate/ intervene, PF-Dispatcher의 역할, four-signal scoring, PF-Guided Rollout의 동작, post-training 경로(SFT/RS/OPD) 및 self-improvement 파이프라인의 단계, 실패 케이스의 클러스터링 및 실행 검증 절차를 포함한다.

제한점으로는 (1) PF 인터페이스의 현재 개선점(개입 형태의 한정성)으로 새로운 전략 발견에는 RL-형 탐색이 필요하다, (2) 핵심 벤치마크의 확장성 및 실제 상용 환경으로의 이전이 아직 불완전하다는 점, (3) PF의 스폰서된 진화가 너무 거칠거나 특정 도메인에 편향될 수 있음, (4) self-improvement 단계의 비용이 크고 게이트가 필요하다는 점 등이다.