계층적 실험 에이전트 HExA: 인컨텍스트 실험과 스킬 진화를 통한 물리 추론 강화

본 논문은 사전학습된 지식만으로는 해결할 수 없는 구조적이고 장기 인과 문제가 존재함을 실험적으로 입증한다. 에이전트가 환경에 직접 개입하여 가설을 검증하고 재사용 가능한 전략을 추출하면 폐쇄형 LLM에서도 빠르게 적응 가능함이 확인되었다. 특히 보상으로 랭킹된 스킬 은행은 학습 데이터가 적은 상황에서 효율적인 성능 향상을 가져왔다.

기존의 인컨텍스트 접근 방식은 주로 파라매트릭 사전지식을 텍스트 맥락으로 보완하거나 단일 에피소드 내에서 시도와 오류를 반복하는 방식으로 작동한다. 이러한 방식은 환경 역학이 미리 학습 데이터에 포착되지 않거나 특정 인스턴스에 대한 정밀한 실험이 요구될 때 실패한다. 본 연구는 에이전트가 능동적으로 가설을 세우고 도구화된 시뮬레이션을 통해 그 가설을 검증하며 그 과정에서 얻은 증거를 자연어 스킬로 구조화해 다음 에피소드에 주입하는 순환을 핵심으로 삼았다.

HExA의 해결 원리는 세 모듈의 상호작용에 있다. 액터는 도구 호출 인터페이스로 부분 시뮬레이션과 전체 롤아웃을 실행해 행동-관찰 궤적을 생성한다. 이볼버는 보상 레이블을 입력으로 궤적을 대조하여 성공의 원리와 실패의 근본 원인을 분리하고 이를 제목·원리·적용조건·예시·출처·보상 점수로 구조화된 스킬과 실수 레코드로 추출한다. 리트리버는 보상 기반 순위로 상위 스킬을 선택해 액터 프롬프트에 고정 프리픽스로 주입하며, 액터는 필요에 따라 해당 스킬을 활용하거나 무시한다.

이 방식은 두 가지 중요한 변화를 가져온다. 첫째, 스킬은 단일 파라미터 조합이 아니라 메커니즘 수준의 추상화(예: 접촉 기하학, 모멘트 암의 역할)를 저장하여 서로 다른 환경으로 재지정이 가능하다. 둘째, 스킬은 라운드별로 진화하며 이전 스킬의 영향 하에 새로운 스킬이 상위 개념으로 통합되거나 경계 조건이 명시되어 점진적 계층을 이룬다. 이로 인해 소량의 상호작용 예산에서도 빠른 적응과 효율적 탐색이 실현된다.

문제 설정은 레벨 가족 ℓ과 해당 가족의 유한한 시드 집합을 정의하고 각 시드에 대해 최대 T번의 상호작용 턴을 허용하는 에피소드로 구성된다. 에이전트는 장면 설명과 도구 문서, 리트리버가 선택한 스킬 컨텍스트를 포함한 프롬프트를 받아 액터 정책 π_act로부터 행동을 생성하며 시뮬레이터는 부분 시뮬레이션과 접촉 로그를 반환한다. 각 궤적 τ는 성공 여부와 효율성(예산 대비 소요 턴)을 반영하는 이산 보상 범주로 레이블링되어 이볼버의 증류 입력으로 사용된다.

HExA 루프는 라운드 단위로 구성된다. 각 라운드에서 리트리버는 현재 스킬 은행 𝒦에서 상위 M개의 스킬과 상위 N개의 실패 레코드를 선택해 액터의 맥락으로 주입한다. 액터는 x개의 에피소드를 실행해 궤적 배치를 생성하고 보상 함수에 따라 각 궤적에 r(τ)를 할당한다. 이볼버는 이전 은행과 새 배치를 입력으로 받아 스킬을 추가·병합·수정·가지치기하며 은행을 갱신하고 은행 크기는 M_max, N_max로 제한된다.

스킬 추출은 고보상 궤적과 저보상 궤적을 대비해 핵심 전략(제목·원리·언제 적용할지·예시)을 생성하고 실패 궤적에서는 (설명, 근본원인, 수정조치) 형태의 실패 레코드를 만든다. 스킬 보상 r_k는 해당 스킬을 사용하거나 시연한 소스 궤적의 평균 보상 r̄_src를 변환해 계산하며 클램프 규칙을 적용한다. 은행 초기화는 Offline, Off2On, Online 세 가지를 실험하고 업데이트 방식은 Evolving과 Iterative Replacement 두 가지를 비교하여 Off2On+Evolving을 기본 설정으로 채택했다.

Interphyre의 난이도 높은 레벨들에서 HExA는 기존의 ReAct, Reflexion, Direct 같은 비영구 스킬 기반 에이전트들을 상회했다. Claude Sonnet 기반 실험에서 catapult 레벨에 대해 Direct는 2.0% 성공률, ReAct는 8.0% 성공률을 보인 반면 HExA(Off2On+Evolving, 보상 라벨 사용)는 평균 67.3±9.3% 성공률과 평균 횟수 14.4±1.8로 대폭 향상되었다. 보상 라벨을 제거하면 HExA 성능은 50.7%로 하락해 보상 기반 랭킹의 기여가 실험적으로 확인되었다.

오픈 소스 모델들에서도 HExA는 일관된 개선을 보였다. Qwen-2.5-3B는 down_to_earth에서 8.0%에서 24.0%로, GPT-OSS-120B는 catapult에서 0.0%에서 54.0%로 상승했다. 또한 Off2On 초기화와 Evolving 업데이트의 결합이 수렴 속도와 샘플 효율성 측면에서 우수했고 반복적으로 은행을 재생성하는 방식보다 누적 은행을 진화시키는 방식이 더 높은 최종 성공률을 기록했다.

소스 레벨에서 진화된 스킬을 텍스트 설명만으로 합성해 타깃 레벨에 주입하는 제로샷 교차레벨 전이 실험에서 다중 소스 합성은 눈에 띄는 이득을 제공했다. 세 개의 소스 레벨 스킬 은행을 합성해 catapult에 투입하면 Claude Sonnet의 성공률이 2%에서 44%로 상승해 스킬이 메커니즘 수준의 추상화를 담고 있음을 뒷받침했다.

전체 아키텍처는 액터·이볼버·리트리버의 삼중 고리로 구성된다. 액터는 도구 호출 인터페이스를 통해 부분 시뮬레이션, 전체 롤아웃, 접촉 로그, 스냅샷/복원 같은 API를 호출하여 행동-관찰 궤적을 생성한다. 이볼버는 텍스트화된 궤적과 보상 레이블을 입력으로 받아 구조화된 스킬과 실패 레코드를 생성하고 은행을 갱신한다. 리트리버는 보상 점수 r_k로 스킬을 정렬해 상위 M, 상위 N 항목을 선택하고 액터의 시스템 프롬프트에 고정 프리픽스로 삽입한다.

보상 설계는 성공 여부와 효율성(사용 턴 수)을 결합한 이산 범주형 함수로 정의되며 빠른 성공, 느린 성공, 탐색적 실패 등 정성적 범주를 이볼버가 안정적으로 해석하도록 했다. 스킬 보상은 소스 궤적 평균 보상 r̄_src를 변환해 r_k = clamp((r̄_src+1)/2, 0.1, 1.0) 규칙으로 산정된다. 은행은 M_max와 N_max 용량 한계가 있어 프롬프트 길이가 무한정 증가하지 않도록 설계되었다.

스킬 추출 알고리즘은 높은 보상 궤적과 낮은 보상 궤적을 대비해 성공 원리를 추출하고 실패로부터는 근본 원인과 교정 행동을 기록한다. 또한 실패 궤적에서 부분적으로 올바른 추론 단계를 부분 스킬로 회수해 은행에 보존함으로써 성공만으로는 얻을 수 없는 신호를 활용한다. 스킬 업데이트 전략은 Evolving(누적 은행 진화)과 Iterative Replacement(배치 기반 재구성)을 실험했고 Evolving이 과적합 위험을 줄이며 일반화 성능을 높였다.

실험 결과는 2D 물리 시뮬레이션 환경 Interphyre에 기반해 얻어진 것으로 다른 도메인으로의 직접 일반화 가능성은 논문에서 명시적으로 제한되었다. 이볼버의 스킬 질은 이볼버로 사용된 LLM의 추론 능력에 의해 상한이 정해지며 모델의 오류가 스킬로 전파될 위험이 존재한다. 현재 성공 지표는 이진 성공과 효율성 보상으로 단순화되어 있어 성공 기준이 모호하거나 장기적 목표가 명확하지 않은 환경으로의 확장은 추가 설계가 필요하다.