MEMO: 강건한 다회차 다중 에이전트 LLM 게임을 위한 메모리 증강 모델 컨텍스트 최적화

다회차 다중 에이전트 게임에서 LLM은 초기 사소한 실수가 누적되어 성능이 급격히 저하되는 불안정성을 보입니다. MEMO는 모델 가중치를 수정하지 않고도 과거의 경험을 구조화된 메모리로 저장하고 재사용하여, 기존 강화학습 대비 19배 적은 데이터로도 압도적인 성능 향상과 결과의 일관성을 확보합니다.

단락 1: 다회차 대화에서 LLM은 이전 출력을 다음 입력으로 사용하는 Auto-regressive 특성 때문에 초기 단계의 작은 실수가 뒤로 갈수록 증폭되는 현상을 겪는다. 특히 다중 에이전트 환경에서는 상대방의 반응까지 얽혀 성능 예측과 순위 산정이 매우 어려워지며, 이는 Transformer의 Self-Attention 메커니즘이 모든 과거 토큰에 의존하기 때문에 발생하는 구조적 취약점이다.

단락 2: MEMO는 이 문제를 해결하기 위해 모델 가중치를 수정하는 Gradient Descent 대신, 모델의 참조 범위인 Context Window 내의 정보를 최적화한다. 핵심은 '기억(Retention)'과 '탐색(Exploration)'의 결합이다. 과거의 성공과 실패 사례를 단순 나열하는 것이 아니라, 추상화된 전략적 통찰로 변환하여 메모리 뱅크에 저장하고 이를 다음 게임의 프롬프트에 주입한다.

단락 3: 결과적으로 MEMO는 고정된 프롬프트의 한계를 넘어, 상호작용을 통해 실시간으로 최적의 전략을 찾아낸다. 특히 협상이나 정보가 제한된 게임에서 강점을 보이며, 학습된 컨텍스트는 다른 게임이나 다른 모델로도 전이될 수 있는 범용적인 전략적 구조를 형성하여 모델의 추론 능력을 극대화한다.

단락 1: MEMO는 여러 세대에 걸쳐 자기 대전 토너먼트를 수행하며 컨텍스트를 최적화한다. 각 세대에서 8개의 후보 컨텍스트 인구를 유지하며, 이들은 기본 프롬프트와 메모리 뱅크에서 샘플링된 사전 지식의 조합으로 구성된다.

단락 2: 컨텍스트 평가는 TrueSkill 알고리즘을 사용한다. 각 컨텍스트의 실력을 평균(μ)과 불확실성(σ)을 가진 가우시안 분포로 모델링하고, 점수 S(c) = μ - κσ를 계산한다. [평균 승률에서 불확실성에 페널티 계수를 곱해 뺀 값 → 신뢰 구간 하한 계산 → 보수적인 성능 지표 산출 → 운 좋게 이긴 프롬프트 배제 및 안정적 프롬프트 선별].

단락 3: 메모리 뱅크는 CRUD 연산을 통해 관리된다. 새로운 통찰이 기존 것과 다르면 추가(Add), 유사하면 병합(Edit), 상충하면 삭제(Remove)한다. [추출된 통찰과 기존 메모리 비교 → 유사도 및 논리적 일관성 판단 → 메모리 갱신 → 최신화된 전략 지식 베이스 유지].

단락 4: 우선순위 재생(Prioritized Replay)은 역빈도 점수를 기반으로 한다. priority(τ) = 1 / count(τ)를 계산한다. [특정 상태의 출현 횟수를 분모로 하여 역수 취함 → 희귀한 상태에 높은 가중치 부여 → 샘플링 확률 결정 → 에이전트가 결정적이지만 드문 상황을 집중 학습].

단락 1: 5가지 텍스트 기반 게임 벤치마크에서 MEMO는 압도적인 성능 향상을 보였다. GPT-4o-mini의 평균 승률은 25.1%에서 49.5%로, Qwen-2.5-7B-Instruct는 20.9%에서 44.3%로 상승했다. 특히 협상 게임과 불완전 정보 게임에서 가장 큰 폭의 개선이 확인됐다.

단락 2: 실행 간 변동성이 크게 감소했다. 상대 표준 오차(RSE)가 기존 프롬프트 최적화 기법들 대비 최대 7배 낮은 6.4% 수준으로 떨어져, 평가의 신뢰성과 재현성을 확보했다.

단락 3: 샘플 효율성 측면에서 강화학습 베이스라인인 UnstableBaseline 대비 19배 적은 게임 횟수(2,000회 vs 38,000회)만으로도 경쟁력 있는 성능에 도달했다. 또한 토큰 소모량도 MIPRO 등 기존 기법의 약 1/4 수준인 90,575 토큰으로 경제적이다.

단락 1: MEMO 아키텍처는 보존(Retention)과 탐색(Exploration)의 이중 루프로 구성된다. 탐색 루프는 토너먼트 방식의 프롬프트 진화를 담당하고, 보존 루프는 궤적 성찰을 통해 메모리 뱅크를 구축한다.

단락 2: 프롬프트 진화는 무작위 제안과 메모리 증강 업데이트의 혼합으로 이루어진다. 무작위 제안은 40여 가지 플레이 스타일 카탈로그에서 스타일을 샘플링하여 다양성을 확보하고, 메모리 증강 업데이트는 메모리 뱅크의 통찰을 프롬프트 수정 지침으로 활용한다.

단락 3: 메모리 뱅크의 CRUD 연산은 LLM이 직접 수행하며, 이는 지식의 추상화와 일반화를 촉진한다. 특정 게임 인스턴스의 구체적인 수치보다는 '상대방의 자원 가치를 먼저 파악하라'와 같은 전이 가능한 전략 원칙을 추출하도록 유도한다.

단락 4: 실험 결과, 학습된 컨텍스트는 모델 간 및 게임 간 전이가 가능함이 입증됐다. 예를 들어 GPT-4o-mini에서 학습된 협상 전략 프롬프트가 Gemini-2.5-Flash-Lite의 성능을 향상시키는 scaffold 역할을 수행하며, 이는 컨텍스트 최적화가 모델의 내재된 잠재력을 끌어올리는 효과적인 수단임을 시사한다.

완전 정보 게임(Perfect Information games)에서는 여전히 전통적인 강화학습(RL) 방식이 MEMO보다 더 효과적인 것으로 나타났다. 또한 전이 학습 시 타겟 모델이 이미 강력한 전략을 보유한 경우, 전이된 휴리스틱이 기존 전략과 충돌하여 성능이 저하되는 부정적 전이(Negative transfer) 현상이 관찰되기도 했다.