효율적인 에이전트적 추론을 위한 자기조절 시뮬레이티브 계획

에이전트의 긴 수평 계획은 성능 향상에 필요하지만 비효율적일 수 있다. 본 연구는 삼중 시스템(I/II/III)으로 의사결정의 계획 존재 여부와 깊이를 학습적으로 조절해 불필요한 deliberation을 줄이고 일반화 가능한 시뮬레이티브 계획 구조를 제시한다. SR2AM은 LLM을 월드 모델로 활용해 도메인별 엔지니어링 없이도 다양한 문제에서 효과적으로 작동한다.

왜 중요한가

핵심 기여

삼중 시스템 아키텍처 도입

System I(반응적 실행), System II(월드 모델 기반 시뮬레이티브 계획), System III(Configurator에 의한 자기 규제)를 분리하여 계획의 존재 여부와 깊이를 학습적으로 제어하는 에이전트 구조를 제시한다.

SR2AM의 두 가지 학습 파이프라인

v0.1은 다모듈 프롬프트를 통한 의사결정 기록으로 구현하고, v1.0은 사전학습된 reasoning LLM의 추적으로 구성된 계획 재구성(plan reconstruction)을 통해 확장 가능성을 확보한다. 두 방식 모두 SFT 후 RL로 미세조정한다.

강인한 성능과 효율성의 실험적 증거

SR2AM-v0.1-8B와 SR2AM-v1.0-30B는 각각 Pass@1 57.0, 71.3으로 경쟁적이며, 동일 규모의 다른 agentic LLM 대비 추론 토큰을 25.8–95.3% 절감한다. RL은 계획의 수평을 22.8% 증가시키나 계획 빈도는 2.0p만 증가시킨다.

핵심 아이디어 이해하기

출발점: 기존의 무제한적 chain-of-thought 방식은 긴 토큰 소모와 비례하지 않는 성능 향상을 야기할 수 있다. 해결 원리: 시스템 I/II/III의 삼중 구성을 통해 deliberation의 존재 여부와 깊이를 학습적으로 조절하고, System II를 통해 세계 상태 예측 기반의 계획을 가능하게 한다. 달라지는 점: RL이 더 긴 계획으로의 이동을 촉진하되 계획 실행의 빈도는 크게 증가시키지 않는다. 이로써 계획의 질을 높이고 토큰 사용량은 관리된다.

방법론

전체 접근 방식: SR2AM은 LLM을 세계 모델로 사용하고, Configurator(System III)과 Simulative Planner(System II)를 내부의 chain-of-thought 단계로 구현한다. 각 턴에서 ut를 통해 계획 여부를 결정하고, 필요한 경우 c_t를 생성한다.
핵심 메커니즘: simulative planner는 s_hat_t, a't, s_hat{t+1}, a'{t+1}, …, s_hat{T'}로 구성된 계획을 생성하고, actor는 이를 바탕으로 a_t를 샘플한다.
학습 전략: supervised fine-tuning(SFT)으로 시스템 구성원을 학습시키고, task 성공을 최적화하기 위해 GRPO를 활용한 RL로 미세조정한다. 보상은 정답 여부, 구조 형식 준수, 최종 형식의 추출성 등을 조합하여 사용한다.

주요 결과

Task 성능: SR2AM-v0.1-8B는 57.0, SR2AM-v1.0-30B는 71.3으로 파악되며, 30B급에서 대형 모델 대비 경쟁력을 보인다.
효율성: SR2AM-v1.0-30B의 평균 추론 토큰은 5,518에서 11,295의 대조군에 비해 크게 적다.
RL 영향: 평균 planning horizon은 22.8% 증가하고 planning frequency는 2.0pp 증가, planning quality 개선이 주된 기여임을 시사한다.
데이터 규모에 따른 효과: 구조화된 데이터 수집 방식(v0.1 vs v1.0)에서 구조화된 콘텐츠의 효과가 커진다.

기술 상세

SR2AM은 시스템 I/II/III를 통해 인지-계획-실행 파이프라인을 분리하고, 월드 모델 f를 이용한 시뮬레이션을 통해 c_t를 구성한다. GRPO는 그룹 기반 대안화(Â_it)와 클리핑된 로렌지 비율을 사용해 정책을 업데이트하며, 데이터 수집은 v0.1의 다모듈 추론과 v1.0의 계획 재구성을 병행한다. RL은 목적 함수에서 정답 정확도, 구조 규정 준수, 최종 형식의 추출 가능성을 반영하는 다중 신호를 사용한다.

실무 활용

구조화된 삼중 시스템을 통한 에이전트 설계는 도메인별 맞춤 규칙 없이도 긴 호라이즌 문제를 다룰 수 있다. RL로 계획의 질을 높이되 토큰 비용을 관리하는 방식을 제시한다.

웹 정보 탐색에서 효율적으로 도메인 지식을 확장
수치 계산 및 데이터 분석에서 계획 품질을 높이되 토큰 비용 관리
코드 작성 및 디버깅에서 도구 사용 흐름을 구조화된 계획으로 규제

코드 공개 여부: 공개

코드 저장소 보기

키워드

SR2AMSelf-Regulated Simulative ReasoningWorld ModelPass@1Reinforcement LearningPlanning HorizonAgentic Reasoning

용어 해설

시뮬레이티브 추론(Simulative Reasoning): — 시뮬레이티브 추론은 world model을 이용해 제시된 후보 행동의 결과를 미래 상태로 예측하고 그 예측을 기반으로 장기 목표 달성에 기여하는 행위를 계획하는 절차이다. 이는 고정된 체인-오브-생각(COT)과 달리 계획의 존재 여부와 깊이를 학습적으로 조정한다.
월드 모델(World Model): — 월드 모델은 관찰로부터 얻은 현재 상태를 바탕으로 제시된 행동의 다음 상태를 예측하는 모듈이다. 시뮬레이티브 플래너가 이 모델을 통해 계획을 구성하고, 계획의 타당성을 검증한다.
계획 수평(호라이즌)(Planning Horizon): — 계획 수평은 시뮬레이션에서 예측할 미래 단계의 수를 의미한다. RL 학습은 수평을 증가시키되 계획 빈도 증가를 제한하는 방향으로 작동한다.

전체 접근 방식: SR2AM은 LLM을 세계 모델로 사용하고, Configurator(System III)과 Simulative Planner(System II)를 내부의 chain-of-thought 단계로 구현한다. 각 턴에서 ut를 통해 계획 여부를 결정하고, 필요한 경우 c_t를 생성한다.
핵심 메커니즘: simulative planner는 s_hat_t, a't, s_hat{t+1}, a'{t+1}, …, s_hat{T'}로 구성된 계획을 생성하고, actor는 이를 바탕으로 a_t를 샘플한다.
학습 전략: supervised fine-tuning(SFT)으로 시스템 구성원을 학습시키고, task 성공을 최적화하기 위해 GRPO를 활용한 RL로 미세조정한다. 보상은 정답 여부, 구조 형식 준수, 최종 형식의 추출성 등을 조합하여 사용한다.

효율적인 에이전트적 추론을 위한 자기조절 시뮬레이티브 계획

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드