HAGE: RL-Driven Weighted Graph Evolution을 통한 Agentic Memory 활용

메모리 검색은 컨텍스트 창의 한계를 넘어 긴 시퀀스에서 중요한 정보를 잃어버리기 쉽다. HAGE는 relation-specific views와 학습 가능한 edge_embeddings를 도입해 관계 신호를 다차원적으로 표현하고, RL로 쿼리 의도에 따라 트래버설 경로를 조정한다. 이로써 장기 추론 정확도와 처리 효율의 균형을 개선한다.

단계 1: 메모리는 Event-Nodes로 구성된 다층 그래프이며 각 엣지는 네 가지 관계 타입에 대해 학습 가능한 벡터를 가진다. 단계 2: 쿼리 q에 따라 Relation Intent를 파악하고 e˜ij에 q의 컨텍스트를 결합해 엣지 가중치를 계산한다. 단계 3: cos 유사도와 학습된 구조적 가중치의 합성 점수로 이웃 노드를 점진적으로 탐색하며, 탐색 경로를 확률적으로 샘플링한다. 단계 4: 보상은 타깃 증거의 발견과 탐색 비용의 trade-off로 구성되고, 정책 경사하강법으로 파라미터 θ를 업데이트한다. 단계 5: Phase 1의 초기 엣지 특성값을 유지하기 위한 anchor 정규화로 일반화 성능을 안정화한다.

1. 전체 아키텍처는 Gt = (Nt, Et)로 표현되며 Et = Etemp ∪ Esem ∪ Ecausal ∪ Eent이고, 노드는 ni = ⟨ci, τi, vi, Ai⟩로 표기된다. 에지 (i, j)은 eij ∈ R^R, R = 4이며 초기값은 e(0)ij = [stemp, ssem, scausal, sent]^⊤이다. 2) 쿼리 조건부 검색은 q에 대해 vTq를 산출하고, ẽij = [eij; vTq; cos(q, vi); cos(q, vj)]를 얻은 뒤, wij(q) = softplus(MLP([q; ẽij]))를 계산한다. 최종 점수 S(nj|ni,q) = λ cos(vj, q) + (1−λ) wij(q)를 통해 π(nj|ni,q)를 얻는다. 3) 학습은 MDP로 정의되며 상태 s_t = (ni, q⃗, Vt), 행동 a_t은 이웃 노드 nj이며, 보상 rt = rhit_t − λstep·step_t − λtimeout·timeout_t 이다. Gt는 γ로 감소합산하며, ∇θJ은 REINFORCE로 계산하고 baselined를 적용한다. 4) Lanchor = λanchor Σ(eij − e(0)ij)^2이며 L = −J(θ) + Lanchor로 업데이트한다. 5) 구현은 PyTorch 기반으로, 노드 임베딩은 all-MiniLM-L6-v2로 초기화하고 어댑션으로 adjacency를 사용하며, 5-fold cross-validation과 200에폭 학습을 수행한다.

LoCoMo에서 gpt-4o-mini 기반으로 HAGE는 Overall 0.739로 최고 성능을 달성했다(최고 baseline 0.700에서 상승). Temporal, Single-Hop, Adversarial, Overall에서 우수한 성능 향상을 보였다. Qwen2.5-3B에서도 0.548로 최고 성능 중 하나를 기록했다. HotpotQA에서 GPT-4o-mini 기준 F1 0.678, LLM Score 0.824로 최고치를 달성했고, Qwen2.5-3B에서도 HAGE가 모든 기준에서 상회했다. 효율성 면에서는 Avg. Score 0.739, Tokens/Query 3.82K, Latency 2.17s로 가장 우수한 균형을 보였다. Table 4의 ablation 결과에서 Static Edge 0.698/0.462에서 HAGE 0.739/0.548로의 개선이 확인되며, Edge 학습과 Router 학습의 조합이 최적 성능에 기여한다.

3.1 개요: HAGE는 relation-specific graph views를 갖춘 Weighted Multi-Relational Memory Graph를 제시하고, 3.2에서 Nm = (Nt, Et) 및 4개의 관계 세부 모듈(Etemp, Esem, Ecausal, Eent)로 구성된 메모리 구조를 정의한다. Edge는 eij ∈ R^4이며 초기화는 e(0)ij = [stemp, ssem, scausal, sent]^⊤ 또는 primary relation type의 one-hot 벡터이다. 3.3에서 Query-conditioned Retrieval은 q에 대해 vTq를 계산하고, ẽij를 구성한 뒤 wij(q)를 얻고, S(nj|ni,q)를 통해 탐색 확률을 정의한다. 3.4에서 Reinforcement Learning 기반 Joint Optimization은 MDP로 모델링되고, Gt를 이용한 할인 보상으로 정책을 업데이트하며, Lanchor로 초기화된 벡터의 drift를 억제한다. 3.5 구현은 PyTorch 기반이며, 노드 임베딩은 all-MiniLM-L6-v2, 학습은 Adam으로 수행한다. 4.2 및 4.3 실험에서 LoCoMo/HotpotQA 데이터셋에 대한 성능과 일반화 능력을 제시한다. 3.4.1의 Co-Evolutionary Training Dynamics은 두 파라미터군 간 비대칭 학습률(ηrouter > ηedge)로 안정화를 도모한다.

한계점으로는 (i) LoCoMo와 HotpotQA 두 벤치마크에 대한 평가로 일반화 범위가 제한됨, (ii) relation-intent 분류 및 평가의 품질에 의존하는 LLM 구성요소에 따른 비용 및 모델 의존성 존재, (iii) 개인정보 보안 및 편향 위험과 같은 윤리적 고려가 필요하다.