오케스트레이션 트레이스를 통한 LLM 기반 멀티 에이전트 시스템 강화학습 연구

LLM 에이전트가 단순한 도구 사용자를 넘어 팀 단위로 협업하는 시대로 진화함에 따라, 팀 전체의 효율성을 극대화하는 강화학습 방법론이 필수적이다. 이 논문은 산업계의 대규모 에이전트 시스템과 학계 연구 사이의 간극을 메우고, 에이전트 생성부터 결과 취합까지의 전 과정을 최적화하기 위한 기술적 프레임워크를 제공한다.

기존의 단일 에이전트 강화학습은 토큰의 나열인 '궤적(Trajectory)'을 최적화하는 데 집중했다. 하지만 여러 에이전트가 협업할 때는 누가 누구에게 일을 맡기고, 어떻게 대화하며, 언제 작업을 끝낼지와 같은 '팀 운영 방식'이 성능을 결정한다. 이는 마치 오케스트라 지휘자가 연주자 개개인의 기량뿐 아니라 악기 간의 조화와 연주 순서를 조율하는 것과 같다.

이 논문은 이러한 복잡한 협업 과정을 '오케스트레이션 트레이스'라는 이벤트 그래프로 모델링한다. 딥러닝의 기초인 Gradient Descent가 가중치를 갱신하듯, 이 그래프 상에서 어떤 에이전트의 어떤 메시지가 최종 성공에 기여했는지를 수학적으로 추적한다. 특히 에이전트 수가 늘어날수록 보상 신호가 희석되는 '보상 확산(Reward Diffusion)' 문제를 해결하기 위해, 팀 전체 보상을 세부 역할이나 메시지 단위로 정밀하게 쪼개어 전달하는 메커니즘을 핵심 아이디어로 삼는다.

결과적으로 이는 LLM 에이전트 팀이 단순히 병렬로 일하는 것을 넘어, 최소한의 비용(토큰 사용량)으로 최대한의 결과물 품질을 낼 수 있도록 지휘자(Orchestrator)의 판단 능력을 학습시키는 원리이다.

논문은 LLM 기반 멀티 에이전트 시스템(LLM-MAS)을 위해 Dynamic-Dec-POMDP 프레임워크를 제안한다. 이는 기존의 고정된 에이전트 환경을 확장하여, 정책에 따라 에이전트가 동적으로 생성(Spawn)되고 소멸(Despawn)되는 환경을 수학적으로 정의한다.

보상 설계 단계에서는 R1(공유 팀 보상)부터 R7(오케스트레이션 보상)까지 8가지 가족으로 구분한다. 특히 Kimi PARL의 사례를 통해 r_perf(작업 결과) + λ1r_parallel(병렬성) + λ2r_finish(종료 품질) 형태의 복합 보상 함수를 분석한다. 여기서 λ 값들을 학습 진행에 따라 0으로 수렴시키는 Staged Annealing 기법을 사용하여, 초기에는 탐색을 돕고 후기에는 최종 목표에 집중하게 만든다.

기여도 할당(Credit Assignment)은 8단계 계층 구조(Team → Orchestrator → Role → Agent → Turn → Message → Tool → Token)를 따른다. 각 단계에서 보상 신호 R이 주어질 때, 특정 결정 d가 결과에 미친 영향인 E[R|d]를 계산한다. 특히 메시지 단위의 기여도를 평가하기 위해 특정 메시지를 교체하거나 제거했을 때의 결과 변화를 측정하는 Counterfactual(반사실적) 평가 방식을 적용하여 신호 대 잡음비(SNR)를 높인다.

Kimi K2.5 및 K2.6의 보고된 수치를 기반으로 분석한 결과, 산업계 시스템은 최대 300개의 하위 에이전트와 4,000단계의 조정 과정을 처리하는 수준에 도달했다. 이는 학계의 일반적인 벤치마크 규모보다 수십 배 큰 규모이다.

실험적 분석을 통해 '보상 확산' 현상을 확인했다. 트레이스 길이 T가 증가할수록 단일 결정에 대한 신호 대 잡음비(SNR)가 감소하며, T가 1,000을 넘어서는 환경에서는 단순한 GRPO 알고리즘이 불안정해짐을 증명했다. 이를 해결하기 위해 에이전트별 이득 정규화(Agent-wise normalization)를 적용한 Dr. MAS 기법이 수렴 안정성을 크게 개선함을 보였다.

또한, 오케스트레이션 보상(R7)을 scaffold로 사용했을 때, 초기 학습 단계에서 에이전트 생성 및 병렬 처리 로직을 더 빠르게 습득하는 것으로 나타났다. 하지만 학습 후반부에도 이 보상을 유지할 경우, 유용한 작업 없이 에이전트만 과도하게 생성하는 '의사 병렬성(Pseudo-parallelism)' 해킹 문제가 발생함을 수치로 제시했다.

논문은 LLM-MAS의 아키텍처를 6가지 토폴로지(중앙 집중형, 계획-실행-비평, 토론형, 병렬 스웜, 계층형, 하네스 기반)로 분류하고 각 구조가 기여도 할당에 미치는 영향을 분석한다. 핵심 수학적 기반은 트레이스 접두사 G_≤t에 조건부화된 가치 함수 V^π(G_≤t)이다. 이는 그래프의 형상이 변함에 따라 상태 공간이 확장되는 구조를 반영한다.

구현 측면에서는 '하네스 경계(Harness Boundary)' 개념을 강조한다. 모델 파라미터 θ는 학습 가능하지만, 도구 레지스트리와 시스템 프롬프트가 포함된 하네스는 고정된 인터페이스로 작동해야 실제 배포 환경과의 일관성을 유지할 수 있다. 또한, 긴 트레이스 학습 시 발생하는 메모리 문제를 해결하기 위해 하위 트레이스를 메인 트레이스로 압축하는 Context-Folding 기법과, 추론과 학습을 분리하여 비동기적으로 데이터를 처리하는 Execution-Training Decoupling 구조를 상세히 기술한다.

현재 공개된 멀티 에이전트 벤치마크들이 대부분 단일 에이전트 성능(성공률)만 측정할 뿐, 협업 효율성이나 프로토콜 오버헤드를 측정하지 못한다는 점을 한계로 지적한다. 또한, 에이전트가 작업을 멈추는 '종료 결정(Stopping decision)'에 대한 명시적인 강화학습 방법론이 아직 부재함을 명시했다.