이종 에이전트 협력 강화학습(HACRL): 독립적 실행과 상호 학습의 결합

실용적 조언

서로 다른 크기의 모델(예: Qwen 1.7B와 4B)을 동시에 학습시킬 때, HACPO를 사용하면 데이터 생성 비용을 절반으로 줄이면서 두 모델의 성능을 모두 끌어올릴 수 있다.
제공된 GitHub 코드를 통해 실제 환경에서의 재현 가능성을 확인할 수 있다.

섹션별 상세

HACRL은 독립적인 실행과 협력적인 최적화를 동시에 달성하는 새로운 패러다임이다. 학습 단계에서는 서로 다른 에이전트들이 검증된 롤아웃(Rollout) 데이터를 공유하여 상호 학습하지만, 추론 단계에서는 각 에이전트가 별도의 조정 없이 독립적으로 작동한다. 이는 공동 배포가 필수적인 기존 LLM 기반 멀티 에이전트 강화학습(MARL)의 제약을 극복한 설계이다.

제안된 HACPO 알고리즘은 샘플 활용도를 극대화하고 에이전트 간 지식 전송을 원칙적으로 가능하게 한다. 특히 에이전트 간의 능력 차이(Capability Discrepancy)와 정책 분포의 변화(Policy Distribution Shift)를 완화하기 위해 네 가지 맞춤형 메커니즘을 도입했다. 이를 통해 편향되지 않은 어드밴티지 추정과 최적화의 정확성을 이론적으로 보장한다.

실험 결과에 따르면 HACPO는 다양한 모델 조합과 추론 벤치마크에서 기존 방식인 GSPO보다 평균 3.3% 높은 성능을 기록했다. 주목할 점은 성능 향상뿐만 아니라 롤아웃 비용을 절반으로 줄이면서도 이러한 성과를 냈다는 것이다. 이는 자원이 제한된 환경에서 고성능 모델과 경량 모델을 함께 학습시킬 때 매우 효율적인 접근법임을 시사한다.

이미지 분석

Infographic
상단은 기존 MARL 및 지식 증류와 HACRL의 차이점을 도식화하여 설명한다. 하단 좌측은 능력 차이와 분포 차이를 해결하기 위한 HACPO의 상세 구조를 보여주며, 우측 레이더 차트는 Qwen3-1.7B와 4B 모델에서 각각 2.6%, 2.3%의 평균 정확도 향상을 증명한다.
HACRL의 개념도와 아키텍처, 그리고 Qwen 모델을 이용한 벤치마크 결과 그래프를 포함하고 있다.

용어 해설

이종 에이전트(Heterogeneous Agent): — 구조, 파라미터 크기 또는 아키텍처가 서로 다른 AI 모델들을 의미한다. 강화학습 환경에서 이들은 각기 다른 성능과 데이터 처리 능력을 가지며, 이들 간의 효율적인 협력과 지식 공유는 모델 최적화의 핵심 과제이다.
온폴리시 최적화(On-policy Optimization): — 현재 학습 중인 정책(Policy)이 직접 환경과 상호작용하여 생성한 데이터만을 사용하여 모델을 업데이트하는 방식이다. 데이터의 신선도는 높지만, 샘플 효율성이 낮아 학습 비용이 많이 발생하는 단점이 있다.
지식 증류(Knowledge Distillation): — 거대하고 복잡한 모델(Teacher)의 지식을 더 작고 효율적인 모델(Student)에게 전달하는 기법이다. 일반적으로 한 방향으로만 정보가 흐르며, HACRL이 지향하는 양방향 상호 학습과는 대조적인 개념이다.
롤아웃(Rollout): — 강화학습 에이전트가 주어진 환경에서 행동을 취하며 궤적(Trajectory) 데이터를 생성하는 과정이다. 이 과정에서 얻은 보상과 상태 정보는 모델의 정책을 개선하는 학습 데이터로 사용된다.
어드밴티지 추정(Advantage Estimation): — 특정 상태에서 취한 행동이 평균적인 행동보다 얼마나 더 나은 성과를 냈는지 수치화하는 기법이다. 정책 경사법(Policy Gradient)에서 업데이트의 방향과 크기를 결정하는 결정적인 역할을 한다.

언급된 도구

HACPO추천

이종 에이전트 간의 협력적 롤아웃 공유 및 최적화를 위한 강화학습 알고리즘

언급된 리소스

논문HACRL Huggingface Paper

GitHubHACRL GitHub Repository