MemSifter: 결과 중심 프록시 추론을 통한 LLM 메모리 검색 오프로딩

LLM이 긴 대화나 복잡한 작업을 수행할 때 과거 정보를 찾는 과정은 비용이 많이 들고 정확도가 떨어지는 문제가 있다. 이 논문은 무거운 메인 모델 대신 가벼운 프록시 모델이 먼저 추론하고 필요한 정보를 골라내게 하여, 비용은 줄이면서도 정보 검색의 정확도를 획기적으로 높였다.

기존 LLM은 컨텍스트 윈도우의 한계로 인해 과거 정보를 외부 저장소에 보관하고 필요할 때 검색(Retrieval)한다. 하지만 단순한 벡터 유사도 기반 검색은 복잡한 논리적 연관성을 파악하지 못하며, 메인 LLM이 직접 모든 메모리를 훑는 방식은 연산량(N²)과 비용이 너무 크다는 한계가 있다.

MemSifter는 '검색 전 추론(Reasoning-before-retrieval)' 단계를 도입한다. 가벼운 프록시 모델이 현재 작업의 요구사항을 먼저 분석하고, 어떤 과거 정보가 필요한지 논리적으로 판단한 뒤 메모리를 선별(Sifting)한다. 이는 마치 도서관에서 사서(프록시)가 먼저 책을 골라 연구자(메인 LLM)에게 전달하는 것과 같다.

특히 이 프록시 모델은 메인 LLM이 실제로 정답을 맞혔는지에 따라 보상을 받는 강화학습을 통해 훈련된다. 이를 통해 단순한 키워드 매칭을 넘어, 실제 문제 해결에 결정적인 정보를 찾아내는 능력을 갖추게 된다. 결과적으로 메인 모델은 훨씬 적은 양의 고품질 정보만 처리하면서도 더 정확한 결과를 낼 수 있다.

MemSifter는 상호작용 이력을 세션 단위로 구분하고, 프록시 모델이 "Think-and-Rank" 과정을 거치도록 설계했다. 프록시 모델은 먼저 사고 과정(Rationale)을 생성하여 작업 의존성을 분석한 뒤, 가장 관련성이 높은 상위 K개의 세션 ID를 출력한다.

Marginal Utility Reward는 [메모리 유무에 따른 성능 점수를 입력으로] → [sk - s0 차이를 계산하여] → [순수 기여도 점수를 산출하고] → [검색된 정보가 모델의 지식 공백을 메운 정도를 의미함]의 과정을 거친다. 이는 검색된 정보가 모델의 기존 지식을 실제로 보완했는지를 수치화한 것이다.

Rank-Sensitive Reward는 [순위 k를 입력으로] → [1/log2(k+1) 가중치를 적용해] → [할인된 보상 값을 얻고] → [상위권에 중요한 정보를 배치하도록 유도하는 지표로 활용함]의 원리를 따른다. DCG 개념을 차용하여 핵심 증거를 최상단에 배치할수록 더 큰 보상을 준다.

학습 효율을 위해 Fibonacci sampling 전략을 사용하여 메인 LLM 호출 횟수를 로그 수준으로 줄였다. 또한 GRPO 알고리즘을 기반으로 한 반복적 학습 전략과 모델 병합을 통해 학습의 안정성을 높였다.

DeepSeek-V3.2와 Qwen3-30B-A3B-Ins를 메인 모델로 사용한 실험에서 MemSifter는 8개의 벤치마크 모두에서 기존 SOTA를 경신했다. 특히 LoCoMo 데이터셋에서 DeepSeek 기반 모델은 F1 스코어 41.79를 기록하며 BGE-M3(29.49) 대비 압도적인 성능 향상을 보였다.

Ablation study 결과, 결과 중심 보상(Outcome Reward)을 제거했을 때 성능이 최대 27.77% 하락하여, 단순한 의미론적 유사도보다 최종 작업 성공 여부를 학습하는 것이 결정적임을 입증했다.

효율성 측면에서 MemSifter(4B 프록시)는 전체 히스토리를 메인 모델에 직접 넣는 방식 대비 입력 토큰을 128K에서 2K 수준으로 대폭 줄이면서도 더 높은 정확도를 유지하여 추론 비용을 획기적으로 절감했다.

MemSifter는 토큰 레벨 저장소와 파라미터 기반 프록시 모델을 결합한 하이브리드 구조이다. 원본 데이터는 외부 디스크에 세션 단위로 저장하고, 프록시 모델의 가중치에는 중요 정보를 식별하고 추론하는 기술을 인코딩한다.

강화학습 알고리즘으로 GRPO(Group Relative Policy Optimization)를 채택하여 참조 모델과의 KL Divergence를 제어하면서 안정적인 정책 업데이트를 수행한다. 8개의 H200 GPU 환경에서 Qwen3-4B-Thinking 모델을 프록시로, Qwen3-30B를 메인 모델로 설정하여 학습했다.

"Reasoning-before-retrieval" 메커니즘은 정적 임베딩의 한계를 극복하기 위해 쿼리 시점에 계산량을 추가하는 Inference-time scaling의 일종이다. 프록시 모델이 생성하는 <think> 태그 내의 Rationale이 검색의 논리적 가이드 역할을 한다.

Cold-start 문제를 해결하기 위해 초기에는 소량의 랭킹 주석 데이터를 사용한 지도 학습(Warm-up)을 병행하며, 학습이 진행됨에 따라 보상 어닐링(Reward Annealing)을 통해 순수 결과 중심 최적화로 전환한다.