MemSyco-Bench: 에이전트 메모리에서 유발되는 시코팬시를 평가하는 벤치마크

장기 메모리는 에이전트의 개인화와 연속성을 지원하지만, 검색된 메모리가 객관적 증거를 대체하면 사실 판단이 왜곡될 위험이 있다. 이 논문은 메모리의 검색 성공 여부만 평가하던 기존 접근을 넘어서 메모리가 회수된 이후 어떻게 사용되는지를 검증하는 체계적 기준을 제시한다. MemSyco-Bench는 실제 대화 맥락에서 메모리 사용 경계를 테스트하여 에이전트의 신뢰성을 점검할 수 있는 평가 수단을 제공한다.

문제 출발점은 장기 메모리가 단순 저장·검색을 넘어서 생성 단계의 추론 컨텍스트로 재투입된다는 점이다. 과거 대화에서 추출된 사실성(factual) 메모리와 선호(preference) 메모리는 Retrieve(q,M)로 회수되어 생성기 G(q,R(q))의 입력으로 들어간다. 이 파이프라인은 관련 메모리를 찾아주는 데 초점을 맞추지만, 회수된 메모리를 언제 증거로 삼고 언제 배제해야 하는지는 별도의 판단 과제로 남는다.

이 논문은 메모리 사용의 적절성을 측정하기 위해 다섯 과제를 정의하고 각 과제마다 메모리-결정 스키마를 설계했다. 스키마는 과제 목표, 필요한 정보, 허용 답안 공간, 메모리의 기대 역할을 명시하여 생성 평가의 기대 행동을 고정시킨다. 구체적으로 Objective Fact Judgment는 객관적 사실 질문에서 메모리가 증거 역할을 해선 안 된다는 조건을 규정하고, Valid Memory Selection은 업데이트된 선호를 식별해야 한다는 조건을 규정한다.

예비 연구에서 잘못된 메모리 스니펫을 컨텍스트에 추가하면 모든 평가 모델에서 정확도가 하락하고 시코팬시율이 증가했다. 구체적으로 DeepSeek-V4-Flash의 정확도는 56.1%에서 40.2%로 감소했고 시코팬시율은 24.3%에서 52.3%로 상승했다. 메인 실험에서 여러 메모리 시스템은 Objective Fact Judgment와 Contextual Scope Control에서 종종 성능을 악화시켰으며, 일부 시스템은 개인화 성능을 높였으나 Valid Memory Selection 과제에서는 오래된 메모리를 고수하는 경향이 관찰되었다.

벤치마크는 다섯 과제별로 메모리-결정 스키마를 정의하고 인스턴스별로 과거 대화 조각을 생성하여 실제 다중 턴 대화로 합성했다. 각 인스턴스는 의미적 관련성, 메모리 사용 경계, 실패 방향을 체크하는 다단계 품질 검증을 통과해야 최종 데이터셋에 포함된다. 평가지표로는 전반적 생성 정확도(Generation Accuracy)를 기본으로 하고, Objective Fact Judgment·Contextual Scope Control·Memory-Evidence Conflict 에서는 Sycophancy Rate를, Personalized Memory Use·Valid Memory Selection 에서는 Correct Mem. Use와 Outdated Mem. 비율을 별도 지표로 보고한다.