상호 보완적 강화 학습: LLM 에이전트를 위한 정책과 경험의 동시 진화

기존 LLM 에이전트는 과거의 성공이나 실패 경험을 정적인 데이터로만 활용하여 학습 효율이 낮았다. 이 논문은 에이전트의 능력이 성장함에 따라 경험을 추출하는 방식도 함께 진화하게 만드는 새로운 강화 학습 패러다임을 제시하여, 복잡한 작업에서의 학습 속도와 성공률을 획기적으로 높였다.

강화 학습에서 에이전트는 환경과 상호작용하며 보상을 최대화하는 방향으로 가중치를 갱신한다. 하지만 LLM 기반 에이전트는 보상이 희소하고, 과거의 궤적에서 얻은 유용한 정보를 다음 에피소드에 효과적으로 반영하지 못해 샘플 효율성이 극도로 낮다는 한계가 있다. 기존 방식은 과거 경험을 단순히 텍스트로 저장해두고 꺼내 쓰는 방식이었으나, 이는 에이전트가 똑똑해질수록 과거의 가이드가 쓸모없어지는 불일치 문제를 야기한다.

이 논문은 뇌의 신피질과 해마의 상호작용인 CLS 원리를 차용한다. 에이전트의 현재 능력치에 맞춰 '어떤 경험이 유용한지'를 판단하는 추출기(Extractor)를 별도의 모델로 두고, 이를 에이전트와 동시에 학습시킨다. 에이전트가 더 복잡한 문제를 풀기 시작하면 추출기도 그에 걸맞은 고차원적인 전략을 뽑아내도록 훈련되며, 이 정제된 경험이 다시 에이전트의 성능을 끌어올리는 선순환 구조를 형성한다.

결과적으로 에이전트는 정적인 데이터베이스에 의존하는 대신, 자신의 발전 단계에 최적화된 맞춤형 가이드를 실시간으로 제공받는다. 이는 마치 초보자에게는 기초적인 수칙을, 숙련자에게는 고급 전략을 가르치는 맞춤형 튜터가 에이전트와 함께 성장하는 것과 같은 원리이다.

Complementary RL은 정책 행위자 πθ와 경험 추출기 πϕ라는 두 개의 상호 의존적인 모델로 구성된다. 행위자는 환경과 상호작용하며 결과 기반 보상을 받고, 추출기는 자신이 생성한 경험이 행위자의 성공에 실질적으로 기여했는지 여부에 따라 최적화된다.

추출기 최적화에는 CISPO(Clipped Importance Sampling Policy Optimization) 목적 함수를 사용한다. [추출된 경험 m과 궤적 τ를 입력으로] → [토큰 단위 Importance Sampling 비율 ρ를 계산하고 Advantage Â와 곱해 로그 확률을 최대화하는 연산을 수행해] → [추출기의 가중치를 갱신하며] → [이는 행위자에게 실질적 도움이 되는 경험을 생성하도록 유도하는 의미]를 갖는다.

행위자 최적화에는 split-GRPO를 도입했다. [경험 가이드가 있는 그룹과 없는 그룹의 궤적을 입력으로] → [각 그룹 내에서 독립적으로 보상 평균과 표준편차를 구해 Advantage Âc를 계산하고] → [클리핑된 대리 손실 함수를 적용해 가중치를 갱신하며] → [에이전트가 외부 가이드에 과도하게 의존하지 않고 스스로의 능력을 내재화하도록 돕는 효과]를 낸다.

훈련 프레임워크는 비동기식 이중 루프 구조로 설계되었다. Primary Training Loop에서는 에이전트가 환경과 상호작용하고, Background Track에서는 추출기가 완료된 궤적을 처리하여 경험 뱅크 M을 유지한다. 중앙 집중식 ExperienceManager H가 Writer/Reader Lock을 통해 데이터 일관성을 유지하며 병렬 처리를 지원한다.

MiniHack, WebShop, ALFWorld, SWE-Bench 등 4가지 오픈 환경에서 실험한 결과, 경험을 활용하지 않는 베이스라인 대비 일관된 성능 향상을 보였다. 특히 전략적 탐색이 중요한 MiniHack과 ALFWorld에서는 약 1.3배의 성능 격차를 기록하며 높은 학습 효율을 입증했다.

효율성 분석 결과, Complementary RL은 MiniHack에서 1.5배, ALFWorld에서 2배 더 적은 행동 수(Action count)로 작업을 완수했다. 이는 증류된 경험이 에이전트의 불필요한 탐색을 줄이고 의사결정의 정확도를 높였음을 의미한다.

다중 작업(Multi-task) 환경에서도 베이스라인 대비 평균 7% 이상의 성능 우위를 점했다. 작업 종류가 3개에서 6개로 늘어나는 확장 시나리오에서도 성능 이득이 유지되거나 오히려 증가하는 경향을 보여, 복잡한 실제 서비스 환경으로의 적용 가능성을 확인했다.

아키텍처는 비동기식 이중 루프 구조로, 정책 행위자(Actor)와 경험 추출기(Extractor)가 독립적인 스케줄에 따라 최적화된다. 중앙 집중식 ExperienceManager H가 수백 개의 병렬 환경에서 발생하는 경험 증류 요청을 큐(Queue)에 쌓고, 백그라운드에서 순차적으로 처리하여 훈련 병목을 제거한다.

경험 추출기는 궤적 τ와 목표 g를 바탕으로 성공 전략, 실패 패턴, 일반화된 결정 규칙을 텍스트 형태로 생성한다. 이 데이터는 임베딩 모델 fψ를 통해 벡터화되어 경험 뱅크 M에 저장되며, 에피소드 시작 시 시맨틱 검색을 통해 가장 관련성 높은 경험이 행위자에게 전달된다.

학습 안정성을 위해 Retrieval Diversification 기법을 적용했다. [검색 쿼리 q를 입력으로] → [과거 검색 횟수 c(m)와 최근성 recent(m)에 따른 페널티를 부여하는 스코어링 함수 s(m)를 연산해] → [다양한 경험 후보를 샘플링하며] → [특정 경험에 대한 과적합을 방지하고 추출기가 더 넓은 분포의 데이터를 학습하게 하는 효과]를 낸다.

또한 Training-Count-Aware Advantage Reweighting을 통해 반복적으로 최적화되는 경험의 가중치를 감쇠시켰다. [현재 단계 t와 마지막 훈련 단계 tlast를 입력으로] → [쿨다운 윈도우 δ와 누적 훈련 횟수 ctrain에 따른 감쇠 지수 α를 적용해] → [경험별 가중치 w(m)를 계산하며] → [데이터 중복으로 인한 훈련 불안정성을 해소하고 균형 잡힌 학습을 유도하는 의미]를 갖는다.

Actor-Critic 메커니즘 도입 시 성능은 향상되지만, 매 단계마다 에이전트의 비판(Critic)을 기다려야 하므로 훈련 처리량이 저하되는 지연 시간 문제가 발생한다. 또한 셀프 증류(Self-distillation) 통합 시 초기에는 성능이 개선되나 후기 학습에서 붕괴되는 현상이 관찰되어 추가적인 하이퍼파라미터 튜닝이 필요하다.