MEMRERANK: 개인화된 상품 재순위화를 위한 선호도 메모리

쇼핑 에이전트가 사용자의 방대한 구매 이력을 모두 읽는 것은 비효율적이고 노이즈가 많습니다. 이 논문은 긴 이력을 핵심 선호도로 요약하는 '선호도 메모리'를 제안하여, AI가 사용자의 취향을 더 정확하고 빠르게 파악해 최적의 상품을 추천하도록 돕습니다.

기존의 LLM 기반 추천 시스템은 사용자의 과거 구매 이력을 프롬프트에 그대로 나열하는 방식을 사용했다. 하지만 이력 데이터는 노이즈가 많고 토큰 제한을 초과하기 쉬워, 정작 중요한 선호도 정보를 Attention Mechanism이 효과적으로 포착하지 못하는 한계가 있다. MEMRERANK는 이 문제를 해결하기 위해 '선호도 메모리'라는 중간 단계를 도입한다. 이는 Embedding 공간에서 정보를 압축하는 대신, 텍스트 형태로 사용자의 카테고리 내/외부 쇼핑 패턴을 요약한다. 마치 사람이 수많은 영수증을 보고 '이 사람은 고성능 전자기기를 선호함'이라고 결론을 내리는 것과 유사한 원리다. 특히 이 메모리 추출 과정은 단순히 요약을 잘하는 것에 그치지 않고, 실제 상품을 다시 고르는 과정에서 얼마나 도움이 되었는지를 보상으로 삼아 강화학습된다. 이를 통해 LLM은 추천 성능에 직접적으로 기여하는 핵심 정보만을 선별하여 메모리에 담는 법을 배운다.

프레임워크는 선호도 메모리 추출과 하위 재순위화의 두 단계로 구성된다. 추출기는 사용자의 구매 이력을 입력받아 <within_memory>와 <cross_memory> 태그 내에 구조화된 텍스트를 생성한다. [구매 이력 텍스트 입력 → LLM 추출기 연산 → 구조화된 선호도 요약 출력 → 사용자의 장기적 취향 정보 의미] 추출기 훈련에는 GRPO를 적용한다. 모델이 생성한 메모리가 정해진 형식을 지켰는지 확인하는 '형식 보상'과, 해당 메모리를 참조한 재순위화 모델이 정답 상품을 맞혔는지 평가하는 '재순위화 보상'을 합산하여 최적화한다. [메모리 생성 및 재순위화 결과 입력 → 정답 여부에 따른 보상 계산 → 정책 업데이트 → 추천 성능에 최적화된 메모리 생성 능력 향상] 재순위화 단계에서는 1-in-5 선택 작업을 수행한다. 1개의 정답 상품과 4개의 하드 네거티브 중에서 가장 적합한 것을 고르도록 프롬프트를 구성하며, 이때 추출된 메모리가 컨텍스트로 제공된다.

Electronics 카테고리 실험 결과, MEMRERANK는 메모리가 없는 베이스라인 대비 GPT-4.1-mini에서 +6.60%, o4-mini에서 +10.61%의 정확도 향상을 기록했다. 이는 단순히 원본 이력을 프롬프트에 넣는 방식보다 훨씬 효과적임을 보여준다. Ablation study를 통해 카테고리 내 정보뿐만 아니라 카테고리 간 정보를 함께 추출했을 때 성능이 더 높게 나타났다. 또한, 모델이 최종 선택 전 사고 과정을 거치게 하는 'think tag'를 추가했을 때 성능이 추가로 개선되었다. 기존의 범용 메모리 프레임워크인 Mem0나 MR.Rec와 비교했을 때도 MEMRERANK가 더 높은 성능을 보였으며, 이는 추천 작업에 특화된 강화학습 기반 메모리 추출의 중요성을 입증한다.

메모리 추출기로는 Qwen2.5-7B-Instruct 모델을 사용했으며, 재순위화 모델로는 GPT-4.1-mini와 o4-mini를 활용했다. 추출기는 GRPO를 통해 포스트 트레이닝 과정을 거친다. 데이터셋은 Amazon-Review-2023과 Amazon-C4를 결합하여 구축했다. 특히 o3-mini를 사용하여 쿼리를 더 자연스럽고 복잡한 쇼핑 의도가 담긴 형태로 재작성하여 난이도를 높였다. 메모리 구조는 Within-category와 Cross-category로 나뉘며, 프롬프트 설계 시 예시 기반 가이드를 제공하는 방식이 가장 우수한 성능을 보였다.

Electronics 카테고리에 한정하여 평가가 이루어졌으며, 다른 도메인으로의 일반화 가능성이 아직 검증되지 않았다. 또한, 오프라인 1-in-5 재순위화 설정에 집중하여 실제 대규모 검색 시스템에서의 성능은 연구 범위에서 제외되었다.