MemReread: MemReread를 통한 메모리 가이드 재독으로 에이전트의 롱-컨텍스트 추론 강화

대형 언어 모델의 긴 컨텍스트 처리에서 Self-Attention의 제곱 복잡도 문제를 해결하기 위해 메모리 기반 접근이 제안되었다. 그러나 과거 재검색 기반 메모리 시스템은 초기에 중요한 정보를 잃거나 잘못된 질의로 인해 노이즈가 누적되기 쉽다. MemReread는 streaming reading을 유지하되 최종 메모리가 부족하면 sub-question으로 이진 탐색적 rereading을 수행하여 잃어버린 사실을 복구하고, 읽기-추론의 구분을 통해 정보의 흐름을 보존한다. 또한 Rereading-Adaptive GRPO를 도입해 필요에 따라 rereading 횟수를 동적으로 조절하므로 계산 비용을 선형적으로 유지한다. 실험에서 길이가 긴 컨텍스트에서 baselines를 능가하고, 각종 long-context 벤치마크에서 강한 일반화 성능을 보였다.

출발점: self-attention의 제곱 복잡도 때문에 긴 문서를 다루는 LLM은 핵심 단서를 놓치거나 기억을 잃을 위험이 있다. MemAgent류는 읽기를 통해 기억을 축적하지만, 중간에 잃거나 잘못된 질의로 잡혀 버리면 정보 손실이 발생한다. 기초 아이디어: 읽기와 추론의 역할을 분리하고, 읽기 단계에서 메모리에서 부족한 정보를 찾기 위해 sub-question을 생성하여 rereading을 수행한다. 이렇게 얻은 서브-답을 루트 메모리에 통합하고, 필요 시 더 많은 rereading을 반복한다. 학습 측면에서는 재읽이의 비용과 정확도 사이의 균형을 맞추기 위해 Rereading-Adaptive GRPO를 도입해 rereading 패스를 상황에 맞게 조절한다. 이로써 컨텍스트 길이가 늘어나도 계산 비용은 선형으로 유지되며, 긴 맥락에서의 비선형 추론이 가능해진다.

MemReread는 Read-Answer 파이프라인에서 Decompose 단계로 넘어가 memory의 결함 여부를 검사한다. 충분한 정보가 없으면 Decompose가 generate된 서브-질문을 통해 다시 읽기를 수행하고, 해당 서브-질문/답을 Integrate로 루트 메모리에 반영한다. 이 과정을 여러 패스(p) 동안 반복하며, MemReread는 p의 상한(pc)을 설정해 최적의 트레이드오프를 찾는다. 학습은 Verl2 기반의 vLLM 롤아웃 엔진을 사용하며, GRPO를 확장한 ReA-GRPO로 프로세스 보상과 결과 보상을 분리해 학습 안정성과 rereading 효율을 향상시킨다. 보상 구성은 상태 보상과 결과 보상을 결합하는 방식으로 정의되며, 파생된 보상 신호는 중요도 샘플링 비율(ρ)과 KL 규제로 정책의 업데이트를 안정화한다.

주요 벤치마크에서 MemReread가 MemAgent 및 ReMemR1을 상회한다. HotpotQA(8K1M 컨텍스트)에서 4B 스케일의 경우 MemReread가 평균적으로 58.4-53.0 사이의 정확도 구간을 기록하고, 1M 컨텍스트에서 53.0으로 최고치를 보였다. 2WikiMultiHopQA에서 4B 스케일로도 강한 개선을 보이며, 8K1M 컨텍스트에서 평균 정확도 58.4로 상향되었다. 4B 스케일의 1M 컨텍스트에서 ReMemR1 대비 최대 12.1% 향상(2WikiMultiHopQA, 4B)도 관찰됐다. 추론 시간은 MemAgent 대비 3–4x 증가하나, 컨텍스트 길이에 따라 재읽이 패스를 적응적으로 조정하므로 평균 읽기 패스 수를 줄이고 효율성을 높인다. 인퍼런스 시간 복잡도는 O(pcn)이며, peak Memory는 상수 수준으로 유지된다. 다수의 ablation에서 pc=3이 실제 트레이드오프에 가장 적합함이 확인되었다.

아키텍처: MemReread는 Read-Decompose-Integrate-Answer의 4단계 파이프라인으로 구성된다. Reading 단계는 MemAgent의 스트리밍 읽기 방식에 기반하며, Terminal Memory(m_T)가 충분한지 Decompose가 판단한다. Decompose는 서브-질문 q를 생성하고, q에 따라 Memory 내에서 rereading을 수행한 뒤, Integrate에서 m에 (q,a) 쌍을 업데이트하고, 이 과정을 qa 기록에 보관한다. 학습은 Verl2 기반의 vLLM 롤아웃 엔진으로 수행되며, Rereading-Adaptive GRPO를 도입해 process-valued state rewards와 outcome rewards를 분리하고, 재읽이 패스를 최소화하면서 정답 정확도를 유지한다. Max Chunk Length = 5000, Max Chunk Number T = 8, Max Rereading Pass pc = 2, Outcome Reward Weight α = 0.95, Group Size G = 4. Loss 함수는 정책 업데이트와 KL 제약을 포함한다. 특이점으로, p에 따른 보상은 일정한 Trajectory 길이를 넘는 경우 0으로 설정하고, Out-of-distribution 벤치마크에서의 일반화 가능성을 확인한다.

문제점으로는: (i) 재읽이 증가에 따른 추론 지연 증가, (ii) 강화학습의 학습 안정성과 샘플 효율성의 제약, (iii) 백본 모델의 추론 능력에 크게 의존. 또한 LongBench-v2와 같은 초대규모 벤치마크에서의 전반적 일반화 한계가 제시된다.