계층적 실험 에이전트 HExA: 인컨텍스트 실험과 스킬 진화를 통한 물리 추론 강화

왜 중요한가

본 논문은 사전학습된 지식만으로는 해결할 수 없는 구조적이고 장기 인과 문제가 존재함을 실험적으로 입증한다. 에이전트가 환경에 직접 개입하여 가설을 검증하고 재사용 가능한 전략을 추출하면 폐쇄형 LLM에서도 빠르게 적응 가능함이 확인되었다. 특히 보상으로 랭킹된 스킬 은행은 학습 데이터가 적은 상황에서 효율적인 성능 향상을 가져왔다.

핵심 기여

실험 중심의 인컨텍스트 자기개선 프레임워크 HExA

HExA는 파라미터 업데이트 없이 동일 모델 호출만으로 실험 설계, 실험 실행, 스킬 증류, 스킬 재삽입의 순환을 수행하는 계층적 에이전트 구조를 제시한다. 각 라운드에서 액터는 도구를 써서 궤적을 생성하고 이볼버는 배치 단위로 궤적을 요약해 스킬 은행을 갱신하며 리트리버는 상위 보상 스킬을 다음 에피소드에 주입한다. 이 구조는 폐쇄형 모델과 공개 모델 모두에 적용 가능하며 외부 교사나 오프라인 데이터에 의존하지 않는다.

Interphyre: 실험적 상호작용을 허용하는 2D 물리 벤치마크

Interphyre는 PHYRE 기반의 2D 물리 환경에 도구 호출 API를 추가하여 부분 시뮬레이션, 접촉 로그, 스냅샷/복원과 같은 중간 역학 관측을 지원한다. 이 환경은 인스턴스별 증거 수집과 전략 검증이 필요한 문제군을 생성하며 에이전트의 능동적 실험 역량을 정량적으로 평가할 수 있다. 벤치마크는 난이도 커리큘럼과 반복 가능한 시드 세트를 제공하여 비교 실험과 전이를 가능하게 한다.

보상 기반 스킬 진화와 제로샷 레벨 전이

이볼버는 궤적별 보상 레이블을 사용해 스킬의 보상 점수를 계산하고 상위 M개 스킬과 상위 N개 실패 레코드를 리트리버가 선택하도록 한다. 서로 다른 소스 레벨에서 진화된 스킬 은행을 구조적으로 재정렬·재접지하여 타깃 레벨로 합성하면 타깃 레벨 실험 없이도 성능 향상이 확인되었다. 논문 실험에서는 catapult에서 보상 기반 HExA가 Claude Sonnet 기준으로 67.3% 성공률을 달성했고 소스-투-타깃 합성으로 최대 44% 제로샷 성공률을 기록했다.

핵심 아이디어 이해하기

기존의 인컨텍스트 접근 방식은 주로 파라매트릭 사전지식을 텍스트 맥락으로 보완하거나 단일 에피소드 내에서 시도와 오류를 반복하는 방식으로 작동한다. 이러한 방식은 환경 역학이 미리 학습 데이터에 포착되지 않거나 특정 인스턴스에 대한 정밀한 실험이 요구될 때 실패한다. 본 연구는 에이전트가 능동적으로 가설을 세우고 도구화된 시뮬레이션을 통해 그 가설을 검증하며 그 과정에서 얻은 증거를 자연어 스킬로 구조화해 다음 에피소드에 주입하는 순환을 핵심으로 삼았다.

HExA의 해결 원리는 세 모듈의 상호작용에 있다. 액터는 도구 호출 인터페이스로 부분 시뮬레이션과 전체 롤아웃을 실행해 행동-관찰 궤적을 생성한다. 이볼버는 보상 레이블을 입력으로 궤적을 대조하여 성공의 원리와 실패의 근본 원인을 분리하고 이를 제목·원리·적용조건·예시·출처·보상 점수로 구조화된 스킬과 실수 레코드로 추출한다. 리트리버는 보상 기반 순위로 상위 스킬을 선택해 액터 프롬프트에 고정 프리픽스로 주입하며, 액터는 필요에 따라 해당 스킬을 활용하거나 무시한다.

이 방식은 두 가지 중요한 변화를 가져온다. 첫째, 스킬은 단일 파라미터 조합이 아니라 메커니즘 수준의 추상화(예: 접촉 기하학, 모멘트 암의 역할)를 저장하여 서로 다른 환경으로 재지정이 가능하다. 둘째, 스킬은 라운드별로 진화하며 이전 스킬의 영향 하에 새로운 스킬이 상위 개념으로 통합되거나 경계 조건이 명시되어 점진적 계층을 이룬다. 이로 인해 소량의 상호작용 예산에서도 빠른 적응과 효율적 탐색이 실현된다.

방법론

문제 설정은 레벨 가족 ℓ과 해당 가족의 유한한 시드 집합을 정의하고 각 시드에 대해 최대 T번의 상호작용 턴을 허용하는 에피소드로 구성된다. 에이전트는 장면 설명과 도구 문서, 리트리버가 선택한 스킬 컨텍스트를 포함한 프롬프트를 받아 액터 정책 π_act로부터 행동을 생성하며 시뮬레이터는 부분 시뮬레이션과 접촉 로그를 반환한다. 각 궤적 τ는 성공 여부와 효율성(예산 대비 소요 턴)을 반영하는 이산 보상 범주로 레이블링되어 이볼버의 증류 입력으로 사용된다.

HExA 루프는 라운드 단위로 구성된다. 각 라운드에서 리트리버는 현재 스킬 은행 𝒦에서 상위 M개의 스킬과 상위 N개의 실패 레코드를 선택해 액터의 맥락으로 주입한다. 액터는 x개의 에피소드를 실행해 궤적 배치를 생성하고 보상 함수에 따라 각 궤적에 r(τ)를 할당한다. 이볼버는 이전 은행과 새 배치를 입력으로 받아 스킬을 추가·병합·수정·가지치기하며 은행을 갱신하고 은행 크기는 M_max, N_max로 제한된다.

스킬 추출은 고보상 궤적과 저보상 궤적을 대비해 핵심 전략(제목·원리·언제 적용할지·예시)을 생성하고 실패 궤적에서는 (설명, 근본원인, 수정조치) 형태의 실패 레코드를 만든다. 스킬 보상 r_k는 해당 스킬을 사용하거나 시연한 소스 궤적의 평균 보상 r̄_src를 변환해 계산하며 클램프 규칙을 적용한다. 은행 초기화는 Offline, Off2On, Online 세 가지를 실험하고 업데이트 방식은 Evolving과 Iterative Replacement 두 가지를 비교하여 Off2On+Evolving을 기본 설정으로 채택했다.

주요 결과

Interphyre의 난이도 높은 레벨들에서 HExA는 기존의 ReAct, Reflexion, Direct 같은 비영구 스킬 기반 에이전트들을 상회했다. Claude Sonnet 기반 실험에서 catapult 레벨에 대해 Direct는 2.0% 성공률, ReAct는 8.0% 성공률을 보인 반면 HExA(Off2On+Evolving, 보상 라벨 사용)는 평균 67.3±9.3% 성공률과 평균 횟수 14.4±1.8로 대폭 향상되었다. 보상 라벨을 제거하면 HExA 성능은 50.7%로 하락해 보상 기반 랭킹의 기여가 실험적으로 확인되었다.

오픈 소스 모델들에서도 HExA는 일관된 개선을 보였다. Qwen-2.5-3B는 down_to_earth에서 8.0%에서 24.0%로, GPT-OSS-120B는 catapult에서 0.0%에서 54.0%로 상승했다. 또한 Off2On 초기화와 Evolving 업데이트의 결합이 수렴 속도와 샘플 효율성 측면에서 우수했고 반복적으로 은행을 재생성하는 방식보다 누적 은행을 진화시키는 방식이 더 높은 최종 성공률을 기록했다.

소스 레벨에서 진화된 스킬을 텍스트 설명만으로 합성해 타깃 레벨에 주입하는 제로샷 교차레벨 전이 실험에서 다중 소스 합성은 눈에 띄는 이득을 제공했다. 세 개의 소스 레벨 스킬 은행을 합성해 catapult에 투입하면 Claude Sonnet의 성공률이 2%에서 44%로 상승해 스킬이 메커니즘 수준의 추상화를 담고 있음을 뒷받침했다.

기술 상세

전체 아키텍처는 액터·이볼버·리트리버의 삼중 고리로 구성된다. 액터는 도구 호출 인터페이스를 통해 부분 시뮬레이션, 전체 롤아웃, 접촉 로그, 스냅샷/복원 같은 API를 호출하여 행동-관찰 궤적을 생성한다. 이볼버는 텍스트화된 궤적과 보상 레이블을 입력으로 받아 구조화된 스킬과 실패 레코드를 생성하고 은행을 갱신한다. 리트리버는 보상 점수 r_k로 스킬을 정렬해 상위 M, 상위 N 항목을 선택하고 액터의 시스템 프롬프트에 고정 프리픽스로 삽입한다.

보상 설계는 성공 여부와 효율성(사용 턴 수)을 결합한 이산 범주형 함수로 정의되며 빠른 성공, 느린 성공, 탐색적 실패 등 정성적 범주를 이볼버가 안정적으로 해석하도록 했다. 스킬 보상은 소스 궤적 평균 보상 r̄_src를 변환해 r_k = clamp((r̄_src+1)/2, 0.1, 1.0) 규칙으로 산정된다. 은행은 M_max와 N_max 용량 한계가 있어 프롬프트 길이가 무한정 증가하지 않도록 설계되었다.

스킬 추출 알고리즘은 높은 보상 궤적과 낮은 보상 궤적을 대비해 성공 원리를 추출하고 실패로부터는 근본 원인과 교정 행동을 기록한다. 또한 실패 궤적에서 부분적으로 올바른 추론 단계를 부분 스킬로 회수해 은행에 보존함으로써 성공만으로는 얻을 수 없는 신호를 활용한다. 스킬 업데이트 전략은 Evolving(누적 은행 진화)과 Iterative Replacement(배치 기반 재구성)을 실험했고 Evolving이 과적합 위험을 줄이며 일반화 성능을 높였다.

한계점

실험 결과는 2D 물리 시뮬레이션 환경 Interphyre에 기반해 얻어진 것으로 다른 도메인으로의 직접 일반화 가능성은 논문에서 명시적으로 제한되었다. 이볼버의 스킬 질은 이볼버로 사용된 LLM의 추론 능력에 의해 상한이 정해지며 모델의 오류가 스킬로 전파될 위험이 존재한다. 현재 성공 지표는 이진 성공과 효율성 보상으로 단순화되어 있어 성공 기준이 모호하거나 장기적 목표가 명확하지 않은 환경으로의 확장은 추가 설계가 필요하다.

실무 활용

HExA는 파라미터 접근이 불가능한 폐쇄형 LLM을 포함해 도구화된 모델을 빠르게 적응시키는 실무적 방안으로 적합하다. 소량의 상호작용 예산으로 재사용 가능한 자연어 스킬을 자동으로 축적하고 재주입하여 탐색 비용을 분산시킬 수 있다. 공개된 코드 저장소가 있어 실험적 재현과 도입이 가능하다.

로봇 조작과 연속적인 물리 상호작용 문제에서 시뮬레이터 기반 실험 루프를 통해 정책 설계 초기 단계를 가속화하는 데 사용될 수 있다.
자동화된 실험 설계가 필요한 과학 시뮬레이션 과제에서 쿼리별 증거 수집과 전략 재사용을 통해 실험 횟수를 절감하는 데 적용 가능하다.
도메인 특화 규칙이나 오라클 없이 폐쇄형 상용 LLM을 이용한 도구 기반 디버깅 및 문제 해결 워크플로의 초석으로 활용될 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

HExA(Hierarchical Experimentalist Agents)Interphyre(인터랙티브 물리 벤치마크)skill bank(재사용 가능한 스킬 은행)in-context learning(인컨텍스트 학습)active experimentation(능동적 실험)

용어 해설

인컨텍스트 학습(In-context Learning): — 모델의 파라미터를 갱신하지 않고 입력 프롬프트의 맥락만으로 새로운 사례에 적응하는 방식이다. 본 논문에서는 시뮬레이터 상호작용과 외부 스킬 문서를 프롬프트로 주입해 에이전트가 과거 실험에서 얻은 지식을 즉시 재사용하도록 만든다는 관점으로 사용된다. 파라미터 업데이트가 불가능한 폐쇄형 모델에도 적용 가능한 점이 중요하다.
스킬 은행(Skill Bank): — 실험 궤적에서 추출한 재사용 가능한 자연어 기반 전략과 실패 유형의 집합이다. 각 스킬은 제목, 원리, 적용 조건, 예시, 출처 시드, 보상 점수로 구조화되어 저장되며 이후 에피소드의 프롬프트에 주입되어 탐색을 유도한다. 스킬 은행은 증거 기반으로 진화하며 다른 레벨로 재합성되어 제로샷 전이에도 사용된다.
능동적 실험(Active Experimentation): — 에이전트가 환경에 개입하여 가설을 검증하고 쿼리별 증거를 수집하는 능동적 탐색 행위이다. 시뮬레이터의 도구 호출(부분 시뮬레이션, 접촉 로그, 스냅샷/복원 등)을 통해 중간 역학을 관찰하고 실패의 원인을 식별한다. 본 논문에서는 이러한 사이클이 스킬 추출과 재사용의 핵심 데이터 소스로 작동한다.
이볼버(Evolver): — 배치로 생성된 궤적과 보상 레이블을 읽어 스킬과 실패 레코드를 구조화하여 스킬 은행을 갱신하는 LLM 기반 모듈이다. 고보상 궤적과 저보상 궤적을 대비해 성공의 원리를 추출하고 실패에서 부분적으로 유효한 추론 단계를 보존한다. 은행 용량·보상 기반 순위·병합·삭제 정책을 적용해 점진적으로 은행을 진화시킨다.

계층적 실험 에이전트 HExA: 인컨텍스트 실험과 스킬 진화를 통한 물리 추론 강화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드