대역폭 제약 하에서 정책과 통신의 분리: 강건한 MARL을 위한 SLIM

MARL 시스템은 부분 관찰 환경에서 협력적 성능을 목표로 하지만 실제 네트워크 대역폭 제약은 메시지 규모와 빈도를 제한한다. 기존 접근은 메시지 차원을 줄이면 정책 latent 공간도 함께 축소되어 성능 저하가 발생하는 한계를 가진다. 본 연구는 통신 경로를 정책 입력에서 분리하고 β라는 표준화된 대역폭 예산을 도입하여 대역폭 제약 하에서도 협력을 유지하는 방법을 제시한다. 이로써 높은 대역폭에서도 최첨단 성능을 달성하고, 대역폭이 감소하더라도 로버스트한 성능을 보인다.

단락 1: MARL은 부분 관찰 환경에서 에이전트 간 협력을 필요로 하지만, 정책의 latent 표현과 inter-agent communication이 같은 네트워크 대역폭 자원을 공유하는 경우 두 측면이 서로 제약을 주고받는다. 기존 접근은 메시지 축소가 정책 표현력의 손실로 직결되기 때문에 성능이 크게 떨어진다. 단락 2: SLIM은 within-timestep MARL에서 메시지 인코딩을 전용 모듈로 분리하고, observation encoder와 정책 네트워크를 분리하여 정책의 고차원 latent 표현을 보존하면서 메시지 차원만 축소한다. β를 도입해 대역폭 제약을 하나의 정규화된 값으로 다루고, ε/스파시티/차원을 하나의 제약으로 unified한다. 단락 3: temporal attention이 캐시된 메시지의 시퀀스를 처리해 과거 정보와 현재 정보를 함께 고려하고, Dec-POMDP 설정에 적합한 캐시를 활성화해 비jointly observable 환경에서의 학습 안정성과 성능을 높인다. 단락 4: 실험적으로 고대역폭에서의 성능은 기존 강자들과 경쟁하거나 상회하고, 대역폭 축소 시에도 다른 방법들에 비해 훨씬 로버스트하게 작동하며, 메시지 히스토리 캐시의 이점이 비공동 관찰 환경에서 뚜렷하게 나타난다.

1. 전체 접근 방식과 핵심 아이디어: 두-stage 의사결정으로 메시지 생성 µ_i(τ_i^t)와 a_i^t ∼ π_i(· | τ_i^t, {m_j^t}{j≠i})를 정의하고, k 라운드의 다중 라운드 커뮤니케이션을 가능하게 한다. 2) 핵심 메커니즘: 관찰 o_i^t은 E로 인코딩되어 ō_i^t를 얻고, ō_i^t는 Ec를 통해 메시지 m_i^t로 변환되어 송신되며, 각 에이전트는 {m_j^t}{j≠i}를 수신한다. 3) 캐시와 시간적 어텐션: Ci_t는 과거에 송신된 메시지의 로그를 저장하고, Temporal Attention을 통해 m˜_i^t를 구성하여 과거-현재 정보를 결합한다. 4) 중앙집중 학습 및 학습 세부: MAPPO를 사용하고, 각 에이전트에 대한 정책 손실 L_p^i(θ)와 가치 손실 L_v^i(θ)를 사용해 기대 이득(A)과 평균 제곱 오차를 최소화한다. 5) 구현 세부: 관찰 인코더 E, 커뮤니케이션 인코더 Ec, 어텐션 블록은 함께 학습되며, 정책 네트워크 π_i는 ō_i^t와 m˜_i^t를 이용해 행동을 선택한다. 6) 수렴 및 평가: 중앙값/분산으로 여러 시드에서 성능을 평가하고, β=2^0에서 β=2^6까지 다양한 대역폭에서Robustness를 확인한다.

주요 벤치마크에서 SLIM은 고대역폭 β=26에서 state-of-the-art 수준으로 우수한 성능을 달성했다. Predator-Prey( Easy/Medium )에서 각각 4.97±0.04/12.57±0.15로 최상 혹은 동등한 성능을 보였고, Traffic Junction에서 Easy 99.3±0.30, Medium 97.2±0.84, Navigation에서 0.81±0.05를 기록했다. 다른 baselines(CommNet, IC3Net, TarMAC, CommFormer) 대비 대역폭 축소에 따른 성능 저하가 크게 감소하는 경향을 보였으며, TarMAC은 Navigation에서 다소 안정적이었으나 다른 환경에서 일관된 강건성은 SLIM이 우세했다. β를 2^0~2^6로 sweeps한 결과에서도 SLIM은 높은 대역폭에서 최상 또는 근접 수준의 성능을 유지했고, 대역폭이 좁아져도 강건한 성능을 유지하는 경향이 확인되었다. 4.7 Ablation Study 결과: 비캐시 vs 캐시 버전 비교에서 Predator-Prey Easy에서 β=1일 때 w/ cache 6.61±0.29, w/o cache 6.65±0.34, β=2일 때 7.10±1.2 vs 6.49±0.1 등으로, 캐시의 도입이 학습 안정성과 성능 측면에서 우위를 보였다. Predator-Prey Medium에서 β=1에 대해 w/ cache 27.2±0.6, w/o cache 26.8±0.34, SHAPES에서 w/ cache ×102 값이 -5.3±0.20으로, w/o cache 값이 -7.0±0.40으로 나타나는 등 비 jointly observable 환경에서 캐시의 효과가 뚜렷하다.

단락 1: 전체 아키텍처는 Observation encoder E, Communication encoder Ec, Policy Module로 구성되며, Observations는 ō_i^t로 축소되고, m_i^t는 Ec(ō_i^t)로 생성되어 다른 에이전트로 송신된다. 단락 2: 메시지 히스토리 캐시 Ci_t는 현재 시점의 메시지와 과거의 모든 메시지의 로그를 저장하고, Temporal Attention을 사용해 Ci_t의 내용을 기반으로 m˜_i^t를 생성한다. 입력은 ō_i^t와 m˜_i^t를 조합해 a_i^t를 샘플링하는 정책 π_i(· | ō_i^t, m˜_i^t)이다. 단락 3: 학습은 MAPPO를 따라 중앙집중 가치 함수 V_i(·)를 사용하고, 각 에이전트에 대해 PPO 손실 L_p^i(θ)와 가치 손실 L_v^i(θ)의 합을 평균해 최적화를 수행한다. 단락 4: 수학적 표현으로, β 제약은 σ × k × d ≤ β로 정의되고, 메시지 차원 d, 전송 라운드 수 k, 그래프 밀도 σ의 곱이 β를 넘지 않도록 조절된다. 단락 5: Dec-POMDP 설정에서 캐시는 비공동 관찰 환경의 상태 추론에 도움을 주며, 캐시를 비활성화하면 Dec-MDP에서의 성능은 감소한다. 단락 6: 성능 평가는 4개의 벤치마크에서 다수의 시드로 평균 및 표준오차를 제시한다.

β는 패킷 헤더, 양자화, 지연, 라우팅 오버헤드, 패킷 손실, 매체 간섭 등 실제 네트워크의 요소를 추상화한다. 이 추상화의 확장과 보다 현실적인 네트워크 조건에서의 SLIM 성능 평가가 향후 과제로 남아 있다. 또한 메시지 히스토리 캐시의 메모리 비용은 에피소드 길이에 따라 선형 증가하므로, 긴 시퀀스에서의 윈도잉이나 압축 표현이 고려될 수 있다.