PraMem: 사전 연습으로 구축한 체험 메모리를 통한 장기 행동 예측

왜 중요한가

장기 행동 예측은 수백에서 수천 단계의 사용자 이력에서 희미하게 흩어진 선호와 규칙을 추출해야 하므로 기존 LLM 기반 접근은 잠재적 패턴 유도 실패와 모델 내재 편향으로 성능이 저하되는 한계가 있다. PraMem은 이러한 긴 이력을 단순한 압축 부담이 아닌 연습 데이터 자원으로 재해석하여 경험 메모리를 구축함으로써 LLM이 사전 학습 없이도 반복적 패턴과 편향 경고를 확보하게 한다. 이 접근은 메모리 기반 기존 기법들이 온전히 해결하지 못한 '패턴의 신뢰성 확보'와 '모델 편향 경고' 문제를 동시에 완화하여 실제 추천·예측 시스템의 장기 정확도를 유의미하게 개선할 수 있다.

핵심 기여

사전 연습으로 사용자별 체험 메모리 구축

PraMem은 긴 과거 시퀀스에서 샘플을 추출해 LLM으로 미리 연습(practice)하게 하고 그 결과로 패턴 경험과 편향 경고 경험을 생성해 사용자별 체험 메모리를 만든다. 이 메모리는 이후 예측 시 단순 이력 텍스트 대신 보조 입력으로 제공되어 LLM의 즉석 패턴 유도 부담을 줄인다. 메모리는 시간에 따라 업데이트되어 새 기록이 쌓일 때마다 점진적으로 진화한다.

반영적 제안 생성과 자기검토 기반 제안 필터링

각 연습 샘플에 대해 LLM은 예측과 심층 사고 과정(think-aloud)을 생성하고 예측-정답 비교를 기반으로 수정·보완·삭제 제안을 만든다. 생성된 제안은 교란(groundedness) 테스트와 가상 장면 다중선택(generalizability) 테스트로 구성된 자기검토 메커니즘을 통과해야 제안 풀에 누적된다. 이 과정은 구조적으로 근거가 약하거나 사례에 과도히 종속된 제안이 체험 메모리에 들어가는 것을 방지한다.

합의 기반의 점진적 메모리 조정으로 안정적 진화 보장

제안 풀에 누적된 제안들은 고정 라운드 간격(T라운드)마다 합의(consensus) 절차로 검토되어 다수 제안이 지지하는 연산만 체험 메모리에 적용된다. 이 합의 기반 조정은 일시적 이상행동으로 인한 불안정한 메모리 변화 방지를 목표로 한다. 실험에서 이러한 순환(연습→반영→합의)은 메모리 길이 폭발을 막으면서 예측 성능을 꾸준히 향상시키는 결과로 나타났다.

핵심 아이디어 이해하기

장기 행동 예측 문제는 사용자의 미세한 선호와 규칙이 긴 시퀀스에 흩어져 있어 LLM이 즉석에서 해당 패턴을 유도하려면 단편화된 증거를 합리적으로 통합해야 한다는 점에서 본질적인 난제를 가진다. 기존의 컨텍스트 압축 방식은 불필요한 텍스트를 줄여 입력 길이 부담을 낮추는 데 초점을 두었지만, 압축된 단편에서 신뢰할 수 있는 행동 규칙을 '즉석에서' 도출하는 과정이 여전히 불안정하여 예측 신뢰를 보장하지 못했다. 또한 LLM은 근접 편향 또는 다수결 추론 등 내재적 인지 편향을 보이므로 입력이 정확해도 잘못된 방향으로 수렴할 위험이 존재한다.

방법론

PraMem은 긴 이력 ℋ_t로부터 사전 연습을 통해 시계열 특유의 연습 샘플을 생성하고, 그 연습 결과로 체험 메모리 ℳ_t를 구성하는 방식을 채택한다. 구체적으로 연습 단계에서는 시점 j의 짧은 접미사 히스토리 tilde{ℋ}_j와 목표 장면 tilde{s}_j를 사용해 LLM이 예측 hat{a}_j와 심층 사고 과정 r_j를 반환하도록 유도한다. 이 반환물들을 기반으로 LLM은 반영(reflection)을 수행하여 제안 집합 {p_i}를 생성하고 자기검토(SelfReview)를 거쳐 신뢰된 제안만 제안 풀 𝒫에 적립한다.

주요 결과

주요 벤치마크 OmniBehavior에서 GPT-OSS-120B를 백본으로 사용할 때 PraMem은 전체 평균 ACC를 73.5(Truncation)에서 84.7로, F1을 24.7에서 31.6으로 향상시켜 표준 메모리 관리 기법들을 상회했다. 백본을 Qwen3.5-35B-A3B로 바꿔도 체험 메모리는 이전에 구축된 메모리를 재사용할 수 있어 전체 ACC가 63.8(Truncation)에서 75.6으로, F1은 20.9에서 25.3으로 개선되는 등 모델간 전이성이 확인되었다. 추가로 라운드별 진화 실험에서 10라운드 사용 시 ACC 79.0·F1 28.3, 40라운드에서 ACC 83.5·F1 30.7, 80라운드에서 ACC 84.7·F1 31.6로 성능이 점진적으로 상승했고 체험 메모리의 토큰 수는 약 60라운드 이후 안정화되는 경향을 보였다.

기술 상세

전체 시스템은 세 가지 반복 단계로 구성되어 있으며 수식(1)-(5)는 전체 흐름을 수학적으로 규정한다. 수식(1)은 기존의 LLM 예측식을 나타내며 입력으로 전체 역사 ℋ_t와 현재 장면 s_t를 사용하는 표준 autoregressive 예측을 표현한다. 수식(2)는 PraMem 프로세스를 통해 ℋ_t와 이전 메모 ℳ_{t'}로부터 업데이트된 ℳ_t를 얻고, 최종 예측은 짧은 접미사 tilde{ℋ}_t, 현재 장면 s_t, 그리고 ℳ_t를 결합한 입력으로 이루어짐을 정의한다.

한계점

논문에서 명시한 주요 한계는 체험 메모리 구축에 필요한 시간과 계산 비용이다. PraMem의 반복적 연습과 반영 과정은 기존의 단순 추출·요약 기반 메모리 방법보다 오프라인 구축 비용이 높아 대규모 사용자 집합에 적용할 때 비용 최적화가 필요하다. 저자들은 병렬화된 연습 스케줄링이나 더 효율적인 연습 계획을 통한 비용 절감 연구가 후속 과제로 남아 있다고 밝혔다.

실무 활용

PraMem의 체험 메모리는 오프라인으로 구축되는 특성상 실제 서비스에선 실시간 지연 없이 예측 입력으로 재사용할 수 있어 장기 행동 예측 성능을 개선하는 데 현실적 가치를 제공한다. 구축 비용은 증가하지만 메모리 하나를 여러 백본에서 재사용할 수 있으므로 운영적 효율성이 일부 회복된다. GitHub 저장소가 공개되어 있어 구현 재현과 도입을 위한 출발점이 마련되어 있다.

추천 시스템에서 사용자의 장기 선호를 반영해 클릭·구매 예측을 개선하는 시나리오
콘텐츠 플랫폼에서 이력 기반 사용자 프로파일을 보완해 개인화 피드·알림 정확도를 높이는 적용
광고 클릭·전환 예측에서 장기 행동 패턴과 모델 편향 경고를 결합해 노이즈 민감도를 낮추는 경우
영화 평점 예측과 같은 장기 평가 과제에서 체험 메모리를 이용한 오프라인 프로파일링

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM(대형 언어 모델)experiential memory(체험적 메모리)long-horizon behavior prediction(장기 행동 예측)self-review(자기검토 메커니즘)memory management(메모리 관리)

용어 해설

체험적 메모리(Experiential Memory): — 긴 사용자 행동 시퀀스를 사전 연습(practice)으로 처리해 도출한 요약된 경험 집합으로, 패턴 경험과 편향 경고 경험을 포함하여 이후 예측 시 추가 입력으로 사용되는 사용자별, 시간에 따라 진화하는 메모리이다.
장기 행동 예측(Long-horizon Behavior Prediction): — 수백에서 수천 단계에 걸친 과거 장기 이력으로부터 사용자의 다음 행동을 추론하는 문제로, 희미하게 흩어진 행동 규칙을 유도하고 모델 내 편향을 제어하는 것이 핵심 난제이다.
자기검토 메커니즘(Self-Review Mechanism): — LLM이 생성한 수정·보완 제안을 검증하기 위해 이력 교란(groundedness 검사)과 가상 장면 다중선택(generalizability 검사)을 적용하여 실제 근거가 부족하거나 과도히 사례특화된 제안을 걸러내는 자동 검증 절차이다.
패턴 경험(Pattern Experience): — 사용자 이력에서 반복적으로 드러나는 행동 규칙을 명시적으로 기록한 경험 유형으로, 예측 시 LLM이 참조하여 잠재적 선호·행동 습관을 빠르게 반영할 수 있게 하는 역할을 한다.
편향 경고 경험(Bias-Alert Experience): — LLM의 내재적 추론 편향(예: 근접 편향, 다수결 편향 등)을 사전에 경고하는 형태의 경험으로, 특정 사용자 예측에서 모델이 오류를 범하기 쉬운 방향을 명시하여 예측 신뢰도를 보완하는 목적을 가진다.