팀 확장인가 시간 확장인가? LLM 멀티 에이전트 시스템의 메모리 기반 평생 학습

LLM 멀티 에이전트 시스템에서 단순히 에이전트 수를 늘리는 것이 항상 성능 향상으로 이어지지 않는다는 비단조적 확장 특성을 밝혀냈습니다. 효율적인 메모리 설계를 통해 과거의 경험을 압축된 지식으로 재사용함으로써, 더 적은 비용과 인원으로도 대규모 팀보다 뛰어난 장기 성능을 낼 수 있는 새로운 시스템 설계 방향을 제시합니다.

기존의 LLM 멀티 에이전트 연구는 주로 '에이전트 수를 늘리면 성능이 좋아진다'는 수평적 확장에 집중해왔다. 하지만 이는 Transformer 아키텍처의 Context Window 한계와 맞물려, 대화가 길어질수록 불필요한 정보가 쌓이고 연산 비용이 급증하는 문제를 낳는다. 특히 에이전트 간의 복잡한 상호작용은 정보의 파편화를 심화시켜 과거의 성공 경험을 다음 작업에 활용하기 어렵게 만든다.

이 논문은 인간의 기억 체계에서 영감을 얻어, 모든 경험을 기억하는 대신 '성공적인 행동 패턴'만 추상화하여 저장하는 방식을 도입했다. 이는 마치 숙련된 기술자가 수많은 시행착오 끝에 자신만의 '매뉴얼'을 만드는 것과 같다. 구체적으로는 개별 실행 로그(Episodic Memory)에서 공통된 성공 전략을 추출하여 절차적 지식(Procedural Memory)으로 변환하고, 누가 무엇을 잘하는지에 대한 정보(Transactive Memory)를 별도로 관리한다.

결과적으로 시스템은 시간이 흐를수록(Scaling Time) 더 똑똑해지며, 이는 단순히 에이전트 머릿수를 늘리는 것보다 훨씬 효율적이다. 연구팀은 이를 통해 '작지만 기억력이 좋은 팀'이 '크지만 매번 새로 시작하는 팀'보다 복잡한 코딩이나 연구 과제에서 더 높은 성과를 낼 수 있음을 보여주었다.

LLMA-Mem은 세 가지 핵심 메모리 모듈로 구성된다. Episodic Memory는 개별 작업의 실행 궤적과 결과를 저장하는 원천 데이터 역할을 한다. Procedural Memory는 Episodic Memory에서 반복되는 성공 패턴을 추출하여 일반화된 전략으로 저장하며, Transactive Memory는 에이전트별 전문 분야와 협업 이력을 기록하여 작업 할당의 효율성을 높인다.

메모리 수명 주기(Lifecycle)는 검색, 업데이트, 통합의 3단계로 운영된다. 검색 단계에서는 [Query q와 메모리 m의 코사인 유사도(rel) + 메모리의 성공률 또는 작업 점수(imp)]를 합산하여 상위 k개를 추출한다. 업데이트 단계에서는 작업 직후 성공/실패 여부를 기록하고 통계치를 갱신한다. 통합 단계에서는 N개의 작업마다 유사한 성공 사례를 클러스터링하여 새로운 절차적 지식을 생성한다.

메모리 배치 구조인 토폴로지는 세 가지를 지원한다. Local Topology는 각 에이전트가 독립된 메모리를 가지며 통신으로만 정보를 교환한다. Shared Topology는 모든 에이전트가 하나의 중앙 저장소를 공유한다. Hybrid Topology는 에피소드 기억은 개별적으로 유지하되 절차적 지식과 통계는 공유하는 방식이다. 실험 결과, 역할 분담이 명확한 코딩 환경 등에서는 Local Topology가 가장 우수한 성능을 보였다.

MultiAgentBench의 코딩, 연구, 데이터베이스 환경에서 실험한 결과, LLMA-Mem은 모든 모델(Claude-Sonnet-4.5, DeepSeek-V3.2, Qwen3 시리즈)에서 메모리가 없는 베이스라인보다 높은 AAS(Average of AS)를 기록했다. 특히 DeepSeek-V3.2 모델의 연구 환경에서는 AAS가 5.92점 향상되는 등 장기적인 성능 유지 능력이 탁월했다.

비용 효율성 측면에서 LLMA-Mem은 압도적인 결과를 보였다. 원시 데이터를 그대로 컨텍스트에 주입하는 MARBLE이나 A-Mem 대비 토큰 사용량을 대폭 줄였다. Claude-Sonnet-4.5 기반 연구 과제에서는 60.4%, Qwen3-32B-Instruct 기반 연구 과제에서는 무려 71.7%의 토큰 절감을 달성하며 성능과 비용의 트레이드오프를 해결했다.

팀 규모에 따른 분석에서는 비단조적(Non-monotonic) 특성이 확인됐다. 예를 들어 Qwen3-32B-Instruct 모델에서 3인 팀이 5인 팀보다 더 높은 성능을 기록하거나, Claude-Sonnet-4.5에서 5인 팀이 7인 팀을 추월하는 현상이 나타났다. 이는 에이전트 수가 늘어날 때 발생하는 통신 오버헤드와 오류 증폭이 메모리를 통한 학습 효과를 상쇄할 수 있음을 시사한다.

LLMA-Mem은 멀티 에이전트 시스템의 확장을 '수평적 확장(에이전트 수)'과 '시간적 확장(경험 축적)'이라는 두 축으로 정의하고, 이들의 상호작용을 분석하기 위한 프레임워크다. 아키텍처는 에피소드 기억을 절차적 기억으로 승격시키는 'Consolidation' 메커니즘을 핵심으로 하며, 이는 알고리즘적으로 시맨틱 클러스터링과 LLM 기반의 전략 추출 과정을 거친다.

수학적으로 메모리 검색 점수는 $score(m, q) = rel(m, q) + imp(m)$으로 정의된다. 여기서 $rel$은 임베딩 공간에서의 코사인 유사도이며, $imp$는 절차적 메모리의 경우 성공률($s_j / (s_j + f_j)$), 에피소드 메모리의 경우 해당 작업의 점수로 정규화되어 계산된다. 이는 단순 검색을 넘어 신뢰도가 높은 지식을 우선적으로 참조하게 만든다.

연구팀은 실험을 통해 'Transactive Memory'가 작업 할당(Task Allocation)의 효율성을 높이는 데 결정적임을 보였다. 에이전트 프로필 $\alpha_k = \langle aid, S_k, \Gamma_k, H_k, \xi_k \rangle$를 통해 각 에이전트의 전문성($S_k$)과 숙련도($\Gamma_k$), 협업 이력($H_k$)을 관리함으로써, 팀 구성 시 최적의 조합을 찾을 수 있도록 설계되었다.

실험에 사용된 에이전트 규모가 최대 7명으로 제한되어 있어, 수십 명 이상의 대규모 집단에서 발생할 수 있는 통신 병목이나 메모리 간섭 현상을 완전히 파악하지 못했다. 또한 코딩, 연구, DB라는 세 가지 협업 환경에 국한되어 웹 검색이나 로봇 제어와 같은 다른 평생 학습 시나리오에서의 일반화 가능성은 추가 검증이 필요하다.