챕터별 상세
00:00
RAGEN 시리즈 개요
RAGEN 시리즈는 AI 에이전트를 강화학습으로 학습시킬 때 발생하는 문제들을 다룬다. 단순히 프레임워크를 소개하는 것을 넘어, 강화학습 적용 시 발생하는 문제 상황과 이를 해결하기 위한 시도들을 공유한다. RAGEN과 RAGEN-2 논문을 중심으로 연구 내용을 전개한다.
00:38
RLHF 및 PPO 복습
LLM을 강화학습으로 학습시키는 대표적인 방법인 RLHF(Reinforcement Learning with Human Feedback)의 목적 함수를 재확인한다. 보상 모델의 점수를 최대화하면서 프리트레이닝 모델로부터 너무 멀어지지 않도록 제약을 거는 것이 핵심이다. PPO(Proximal Policy Optimization)는 이 목적 함수를 안정적으로 최적화하기 위한 알고리즘이다.
RLHF와 PPO에 대한 기본적인 이해가 필요하다.
04:50
GRPO 알고리즘
GRPO(Group Relative Policy Optimization)는 크리틱 모델 없이 강화학습을 수행하는 기법이다. 동일한 프롬프트에 대해 여러 응답을 생성하고, 그 응답들 간의 상대적인 보상을 비교하여 학습한다. 크리틱 모델을 학습시킬 필요가 없어 구현이 간단하고, 추론 태스크에서 긴 궤적을 다룰 때 유리하다.
크리틱 모델이 강화학습에서 어떤 역할을 하는지 알면 이해가 빠르다.
09:30
에이전트 강화학습의 도전 과제
에이전트 강화학습은 Credit Assignment, Sparse Reward, Stochastic Environment, Long Context Accumulation 등의 문제를 겪는다. 특히 멀티턴 환경에서는 보상이 마지막에만 주어지는 경우가 많아 학습이 어렵다. 또한 환경의 확률적 반응으로 인해 동일한 행동도 다른 결과를 낳을 수 있어 학습 안정성이 떨어진다.
11:52
실험 환경 및 설정
실험은 Bandit, Sokoban, Frozen Lake, WebShop 등 4가지 태스크에서 진행되었다. Bandit은 단일 턴, Sokoban과 Frozen Lake는 멀티턴 게임, WebShop은 현실적인 웹 쇼핑 환경을 모사한다. 학습에는 Qwen-2.5 Instruct 모델이 사용되었으며, PPO와 GRPO를 정책 최적화 알고리즘으로 활용했다.
12:06
연구 결과 및 발견(1-3)
단일 턴 RL 기법을 멀티턴 에이전트 학습에 그대로 적용하면 추론 붕괴가 발생할 수 있음을 확인했다. 또한 에이전트가 학습 초기에는 다양한 추론을 보이지만, 학습 후반에는 특정 템플릿만 반복하는 'Echo Trap' 현상을 발견했다. 이러한 현상은 보상 분산이나 엔트로피 지표를 통해 사전에 감지 가능하다.
15:52
SNR-aware 필터링
SNR-aware 필터링은 보상 분산이 낮은 궤적을 필터링하여 학습 효율을 높이는 기법이다. 보상 분산이 높은 궤적은 학습에 유용한 정보를 담고 있을 확률이 높다는 가정하에, 상위 P%의 보상 분산을 가진 궤적만 학습에 사용한다. 이를 통해 학습 안정성과 성능을 모두 개선했다.
16:30
RAGEN-2 및 결론
RAGEN-2는 템플릿 콜랩스 문제를 더 깊이 다루며, 상호 정보량(Mutual Information)을 새로운 메트릭으로 제안한다. MI는 리즈닝과 인풋 사이의 연관성을 측정하여, 단순히 엔트로피만 보는 것보다 성능과 더 높은 상관관계를 보인다. 결론적으로 에이전트 학습 시 보상 설계와 필터링 전략이 매우 중요함을 강조한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 01.수집 2026. 06. 01.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
