개인화 환상과 자기감시의 역전

왜 중요한가

개인화된 LLM이 사용자로부터 실제로 들은 정보보다 더 많은 개인 속성을 만들어내면 사용자의 프라이버시와 신뢰성에 직접적인 위험이 생깁니다. 본 논문은 증거가 희소한 초기 상호작용(k=3) 상황에서 모델이 어떻게 근거 없는 주장을 생성·저장·누적하는지 기계적으로 측정하고 그 결과가 시스템 설계에 미치는 영향을 보여줍니다. 이 관찰은 메모리 파이프라인에 근거 상태 추적, 외부 검증, 모델별 임계치 적용 같은 구조적 대응을 필요로 한다는 점에서 실무적 의미가 큽니다.

핵심 기여

MirageBench 벤치마크

MirageBench는 150개의 균형 잡힌 페르소나와 6개 개인화 과업, 그리고 Probe/Task/Judge/Accum의 4단계 평가 파이프라인으로 구성됩니다. 각 페르소나는 15개 속성의 정답 프로필을 가지며, 실험 전반에서 총 143,616개의 청구가 Judge에 의해 판정됩니다. Judge는 휴먼 검토로 검증되어 4-way Cohen’s κ = 0.863 및 이진 κ = 0.900을 확보합니다.

교차 모델 대규모 정량화

12개 모델(7개 계열)을 대상으로 한 평가에서 모든 모델이 과잉추론을 보이며 OI 비율은 모델별로 35%–49%, 교차 모델 평균 41.6%로 나타납니다. Fabrication(평균 31.1%)이 Stereotype(평균 10.5%)보다 크게 우세하여 모델들이 주로 창작 쪽으로 편향됨을 드러냅니다. 과업별로는 지표가 27%에서 59%까지 변동하며, 근거 가능성(groundability)에 따라 OI가 증가합니다.

Self‑Monitoring Inversion 발견

모델 수준에서 자기감시(OI_self)와 외부 심판(OI_judge)의 순위 상관은 음수(ρ = −0.60, p = 0.044)로 관찰되어 자기보고가 모델 간 안전성 비교에 오도될 수 있음을 시사합니다. 반면 각 모델 내에서는 자기감시가 중간에서 강한 순위 신호(AUROC 0.58–0.83)를 유지하여 내부 필터링에는 유효합니다. 또한 Accum 파일럿에서 상위 모델들은 라운드당 5–15개의 속성을 선형적으로 누적하며, 수정은 거의 일어나지 않는 경향을 보입니다.

핵심 아이디어 이해하기

사용자가 본문에서 공개한 아주 적은 사실들(E, k=3)만 주어진 상황에서 LLM은 남은 속성 공백을 메우려는 성향이 강합니다. 이 과정에서 모델은 사전학습 분포나 장르 기대치, 응답의 길이 등으로 빈칸을 채우며 그 결과 개별 사용자에 대한 근거 없는 주장들이 생성됩니다. MirageBench는 이 현상을 Grounded, Reasonable, Stereotype, Fabricated의 4등급으로 구획하고 Stereotype+Fabricated 비율을 과잉추론(OI)으로 정의하여 정량화합니다. 이로써 같은 내부 지식이 Probe(명시적 추론)에서는 드물게, Task(암묵적 개인화)에서는 빈번하게 적용되는 불일치가 드러납니다.

방법론

실험 입력은 각기 15개 속성의 정답 프로필 P와 정확히 3개의 공개 사실 E를 가진 150 페르소나이며, 페르소나는 고정된 세트로 stereotypical/counter-stereotypical/neutral로 균형을 맞춥니다. 평가 과업은 데이팅 바이오, 주말 일정, 추천서 초안, 100달러 선물, 아파트 묘사, 스트레스 요인 식별의 6개이며 과업마다 모델은 E만을 참조해 응답을 생성합니다. 파이프라인은 Probe(명시적 추론), Task(암묵적 개인화 및 모델의 자체 감사), Judge(독립적 외부 분류기 Claude-Opus-4-7), Accum(다중 회차 메모리 누적)로 구성되고 Judge의 신뢰성은 400개 표본으로 검증되어 4-way κ=0.863, binary κ=0.900을 확보합니다. 전체 판정 청구 수는 143,616개이며 모델 호출 시 temperature는 0.0으로 고정합니다.

주요 결과

문제 상황은 초기 상호작용(k=3)에서 모델이 사용자에 대해 근거 없는 속성을 만들어내는 점이며, 이를 판별하기 위해 독립 Judge로 모든 청구를 4등급으로 분류하여 OI 비율을 계산합니다. 핵심 증거는 12개 모델 전부가 OI 35%–49% 범위에 들어왔고 교차 모델 평균은 41.6%, 전체 청구 기준 마이크로 평균은 41.8%라는 수치입니다. 과업별로는 근거 가능한 과업에서 OI가 낮아(예: 선물 추천 27.0%) 상상력이 요구되는 과업에서 OI가 높아짐(예: 아파트 묘사 57.8%)이 관찰됩니다. 추가로 다중 회차 Accum 파일럿에서 상위 9개 모델은 라운드당 약 5–15개의 속성을 선형적으로 누적(R²>0.90)하며 수정은 거의 일어나지 않아 무언의 기억 오염 위험이 드러납니다.

기술 상세

페르소나는 총 150개이며 각 페르소나는 15개 속성의 정답 프로필 P와 정확히 3개의 공개 사실 E를 포함합니다. 각 모델은 150 페르소나 × 6과업 = 900 인스턴스에서 Task를 수행하고, 모든 Task 출력의 개별 청구는 Judge(Claude-Opus-4-7)가 Grounded/Reasonable/Stereotype/Fabricated로 분류합니다. 전체 판정 청구 수는 143,616개이며 Probe는 모델의 명시적 추론 능력을, Task는 암묵적 개인화 행동을, Accum은 메모리 누적과 수정 패턴을 측정합니다. 모델 목록은 GPT-5.5, GPT-4o-mini, Qwen3-8B 등 12개로 다양하게 포함되어 있어 현상 일반성을 평가할 수 있습니다.

한계점

Accum 파일럿은 2개의 페르소나만 사용하여 절대 수치 해석에는 제한이 있고 메모리 프롬프트가 유지 지침을 포함해 누적을 촉진하도록 설정되어 결과가 가속화될 가능성이 있습니다. Judge는 모델 기반 자동 분류기이지만 휴먼 검토로 400개 표본을 검증했으나 자동 판정의 일반화 한계는 존재합니다. 모델 샘플 수가 12개로 작아 자기감시 역전의 추정치 부호는 견고하나 부정확성(부트스트랩 CI가 넓음)을 동반합니다.

실무 활용

MirageBench는 개인화 메모리 파이프라인의 신뢰성 평가, 메모리 저장 정책 설계, 모델 선택 기준 검증에 바로 활용할 수 있는 도구입니다. 실무에서는 외부 판정 기반의 검증, 저장된 속성의 근거 표기(provenance tagging), 모델별 자기감시 임계치 적용을 결합하여 과잉추론 위험을 관리해야 합니다.

개인화 메모리를 가진 서비스에서 모델별 과잉추론 정도를 객관적으로 비교할 때 사용합니다.
메모리 쓰기 시 근거 수준(stated, inferred with evidence link, generated without evidence)을 함께 저장하는 설계에 적용합니다.
모델 내부의 self-audit을 내부 필터링 도구로 쓰되, 모델 간 안전성 비교에는 외부 Judge를 보조 지표로 활용합니다.

코드 공개 여부: 미확인

키워드

개인화(personalization)MirageBenchover-inference (OI)자기감시 역전(Self‑Monitoring Inversion)메모리 누적(memory accumulation)신뢰성(faithfulness)평가 파이프라인(Probe/Task/Judge/Accum)

용어 해설

MirageBench: — MirageBench는 150개의 균형 잡힌 페르소나와 6개 개인화 과업, Probe/Task/Judge/Accum의 네 단계 평가 파이프라인을 포함하는 벤치마크입니다. 각 페르소나는 15개 속성의 정답 프로필과 정확히 3개의 공개된 사실(E)을 가지며, 총 143,616개의 청구가 Judge로 판정됩니다. Judge 검증을 위한 휴먼 검토에서 사후 검증 지표(4-way Cohen’s κ = 0.863, binary κ = 0.900)를 확보합니다.
자기감시 역전(Self-Monitoring Inversion): — 모델 집단 수준에서 모델이 스스로 보고한 과잉추론 비율(OI_self)과 외부 심판이 판정한 비율(OI_judge) 사이의 순위 상관이 음(-0.60, p=0.044)으로 관찰되는 현상입니다. 즉, 자기감시에서 낮게 보고하는 모델들이 외부 심판 기준에서는 더 많이 과잉추론하는 경향이 있습니다. 이 역전은 모델 간 비교에서 자기보고를 안전성 신호로 사용하면 오도될 수 있음을 의미합니다.
추론 누적(무언의 기억 오염)(Accumulation / silent memory pollution): — 여러 회차 대화에서 모델이 근거 없는 개인 속성들을 계속해서 저장해 프로필이 선형적으로 증가하는 현상입니다. 소규모 파일럿에서 상위 누적 모델들은 라운드당 약 5–15개의 신규 속성을 추가하며 9/12 모델에서 R²>0.90이 관찰됩니다. 상위 누적자들은 이전 추론을 거의 수정하지 않아 무해하지 않은 추론이 기억에 영구화될 위험이 있습니다.
4분류 충실도 체계(Grounded/Reasonable/Stereotype/Fabricated): — 개인화 응답의 개별 주장들을 네 등급으로 구분하는 기준으로서, Grounded는 사용자가 직접 말한 사실을 재서술하고, Reasonable은 상식적 확장, Stereotype은 집단 통계 기반 대체, Fabricated는 근거 없는 창작을 뜻합니다. Stereotype과 Fabricated가 합쳐져 과잉추론(OI)을 구성하며 이 비율이 주요 평가지표입니다. 이 체계는 Judge에 의해 자동화된 방식으로 일관되게 적용됩니다.