효율적인 에이전트적 추론을 위한 자기조절 시뮬레이티브 계획

에이전트의 긴 수평 계획은 성능 향상에 필요하지만 비효율적일 수 있다. 본 연구는 삼중 시스템(I/II/III)으로 의사결정의 계획 존재 여부와 깊이를 학습적으로 조절해 불필요한 deliberation을 줄이고 일반화 가능한 시뮬레이티브 계획 구조를 제시한다. SR2AM은 LLM을 월드 모델로 활용해 도메인별 엔지니어링 없이도 다양한 문제에서 효과적으로 작동한다.

출발점: 기존의 무제한적 chain-of-thought 방식은 긴 토큰 소모와 비례하지 않는 성능 향상을 야기할 수 있다. 해결 원리: 시스템 I/II/III의 삼중 구성을 통해 deliberation의 존재 여부와 깊이를 학습적으로 조절하고, System II를 통해 세계 상태 예측 기반의 계획을 가능하게 한다. 달라지는 점: RL이 더 긴 계획으로의 이동을 촉진하되 계획 실행의 빈도는 크게 증가시키지 않는다. 이로써 계획의 질을 높이고 토큰 사용량은 관리된다.

1. 전체 접근 방식: SR2AM은 LLM을 세계 모델로 사용하고, Configurator(System III)과 Simulative Planner(System II)를 내부의 chain-of-thought 단계로 구현한다. 각 턴에서 ut를 통해 계획 여부를 결정하고, 필요한 경우 c_t를 생성한다.
2. 핵심 메커니즘: simulative planner는 s_hat_t, a't, s_hat{t+1}, a'{t+1}, …, s_hat{T'}로 구성된 계획을 생성하고, actor는 이를 바탕으로 a_t를 샘플한다.
3. 학습 전략: supervised fine-tuning(SFT)으로 시스템 구성원을 학습시키고, task 성공을 최적화하기 위해 GRPO를 활용한 RL로 미세조정한다. 보상은 정답 여부, 구조 형식 준수, 최종 형식의 추출성 등을 조합하여 사용한다.

• Task 성능: SR2AM-v0.1-8B는 57.0, SR2AM-v1.0-30B는 71.3으로 파악되며, 30B급에서 대형 모델 대비 경쟁력을 보인다.
• 효율성: SR2AM-v1.0-30B의 평균 추론 토큰은 5,518에서 11,295의 대조군에 비해 크게 적다.
• RL 영향: 평균 planning horizon은 22.8% 증가하고 planning frequency는 2.0pp 증가, planning quality 개선이 주된 기여임을 시사한다.
• 데이터 규모에 따른 효과: 구조화된 데이터 수집 방식(v0.1 vs v1.0)에서 구조화된 콘텐츠의 효과가 커진다.

SR2AM은 시스템 I/II/III를 통해 인지-계획-실행 파이프라인을 분리하고, 월드 모델 f를 이용한 시뮬레이션을 통해 c_t를 구성한다. GRPO는 그룹 기반 대안화(Â_it)와 클리핑된 로렌지 비율을 사용해 정책을 업데이트하며, 데이터 수집은 v0.1의 다모듈 추론과 v1.0의 계획 재구성을 병행한다. RL은 목적 함수에서 정답 정확도, 구조 규정 준수, 최종 형식의 추출 가능성을 반영하는 다중 신호를 사용한다.