BenchPreS: 지속성 메모리 LLM의 문맥 인식 개인화 선호도 선택성 벤치마크

사용자의 취향을 기억하는 LLM이 늘고 있지만, 격식 있는 자리에서도 사적인 말투를 사용하는 등 상황에 맞지 않는 행동을 하는 경우가 많다. 이 논문은 모델이 언제 개인화된 선호도를 적용하고 억제해야 하는지 판단하는 능력을 평가하는 새로운 기준을 제시하여, 더 지능적이고 예의 바른 AI 에이전트 개발의 필요성을 시사한다.

기존 LLM의 개인화는 사용자의 선호도를 Persistent Memory에 저장하고 이를 모든 대화에 반영하는 데 집중했다. 이는 Transformer 아키텍처에서 컨텍스트 윈도우의 앞부분에 사용자 프로필을 고정된 지침으로 주입하는 방식과 유사하며, 모델은 이를 반드시 지켜야 할 시스템 프롬프트처럼 인식하게 된다. 하지만 실제 인간의 의사소통은 상대방과 상황에 따라 태도가 달라진다. 친구와의 채팅에서는 농담이 환영받지만, 국세청(IRS)에 보내는 공식 서한에서는 억제되어야 한다.

현재의 LLM은 이러한 '사회적 규범'과 '개인적 선호' 사이의 충돌을 해결하는 메커니즘이 부족하여, 단순히 선호도 추종 성능(Instruction Following)이 높을수록 부적절한 상황에서도 이를 남발하는 경향을 보인다. BenchPreS는 이러한 '선택적 억제' 능력을 평가하기 위해 설계되었다. 모델이 단순히 기억된 정보를 출력에 반영하는 수준을 넘어, 현재 주어진 Task와 수신자(Recipient)의 특성을 해석하고, 특정 선호도가 해당 문맥의 규범에 부합하는지 논리적으로 판단해야 함을 강조한다.

BenchPreS는 수신자-작업 쌍으로 정의된 39개의 문맥과 10개의 사용자 프로필을 조합하여 평가 데이터를 구성한다. 각 프로필은 약 152개의 속성을 포함하며, 이 중 5개는 역할, 스타일, 톤 등 응답 생성에 직접적인 영향을 미치는 선호도 속성이다.

평가 지표로 Misapplication Rate(MR)와 Appropriate Application Rate(AAR)를 사용한다. [억제해야 할 선호도 레이블 0 또는 적용해야 할 레이블 1 입력] → [모델 응답 생성] → [LLM 판사가 응답 내 선호도 반영 여부 판별] → [각 비율 산출] 순으로 계산되어 모델의 선택적 개인화 능력을 수치화한다.

LLM-as-Judge 프레임워크를 채택하여 DeepSeek-R1 모델이 생성된 응답에서 특정 선호도가 반영되었는지 여부를 판별한다. 인간 주석가와의 일치도가 92% 이상임을 확인하여 평가의 신뢰성을 확보했으며, 닉네임과 같은 단순 문자열 매칭은 Exact Match 방식을 병행한다.

평가 대상인 10개의 최신 LLM 중 어떤 모델도 완벽한 선택성을 보여주지 못했다. Gemini 3 Pro는 가장 높은 AAR(88.69%)을 기록했으나 MR 역시 86.48%로 매우 높아, 문맥에 상관없이 모든 선호도를 무분별하게 적용하는 양상을 보였다. 반면 Mistral 7B는 가장 낮은 MR(38.49%)을 보였으나 AAR(49.77%)도 낮아 전반적인 선호도 반영 능력이 부족함이 확인됐다.

GPT-5.2는 AAR-MR 차이가 46.38로 가장 컸으며, 특히 역할(Role)과 스타일(Style) 카테고리에서 다른 모델보다 효과적인 억제 능력을 보여주었다. 하지만 여전히 40.95%의 사례에서 선호도를 오적용하여 개선의 여지가 큼이 나타났다.

추론(Reasoning) 기능을 활성화했을 때, Qwen3와 EXAONE 모델 모두에서 AAR이 상승했으나 동시에 MR도 함께 상승했다. 이는 추론 과정이 선호도를 지켜야 할 '체크리스트'로 인식하게 만들어, 부적절한 상황에서도 지시 이행을 강제하는 부작용을 낳음을 시사한다.

BenchPreS는 CIMemories 데이터셋을 기반으로 재구성되었으며, 금융, 고용, 교육, 건강, 주거 등 5개 공식적인 도메인을 포함한다. 이는 선호도 적용 여부가 주관적이지 않고 사회적 규범에 의해 명확히 갈리는 상황을 설정하기 위함이다.

모델의 아키텍처적 한계로, Persistent Memory에 저장된 정보가 시스템 프롬프트나 컨텍스트의 최상단에 위치할 때 모델은 이를 '전역적 제약 조건'으로 해석한다. 이는 Attention 메커니즘이 모든 토큰에 대해 높은 가중치를 부여하게 만들어, 하위 작업의 특수성보다 상위 선호도를 우선시하게 만든다.

실험 결과, 프롬프트 기반 방어는 MR을 낮추는 데 효과가 있었으나 AAR의 손실을 동반했다. 이는 모델이 '적절할 때만 적용하라'는 지침을 보수적으로 해석하여 전반적인 개인화 성능을 저하시키기 때문이다.

성공적인 선택적 억제 사례의 Reasoning Trace를 분석한 결과, [선호도 열거 → 문맥 적합성 평가 → 충돌 속성 제외 → 최종 생성]의 4단계 패턴이 관찰되었다. 연구팀은 이러한 사고 패턴을 사후 학습(Post-training) 데이터에 포함시키는 것이 향후 해결책이 될 수 있음을 제안한다.

생성의 최종 단계에서의 선택성만을 다루며 검색(Retrieval) 단계의 문제는 포함하지 않는다. 또한 비공식적이거나 문화적 해석이 갈릴 수 있는 미묘한 사회적 상황에서의 선호도 적용은 다루지 못한다는 한계가 있다.