PrivacyAlign: LLM 에이전트를 위한 맥락적 프라이버시 정렬

왜 중요한가

에이전트형 LLM은 도구 호출과 메모리 접근을 통해 외부로 민감 정보를 노출할 수 있어, 단순한 문자열 필터링으로는 부적절한 공개를 막기 어렵다. 인간의 상황별 판단을 보상 신호에 직접 반영하면 에이전트가 민감 정보를 과도하게 공개하지 않으면서도 필요한 정보는 제공하도록 학습 가능하다.

핵심 기여

PrivacyAlign 데이터셋 구축

1,350개의 시나리오-응답 쌍과 3,516개의 인간 주석(599명 annotator)을 포함하는 데이터셋을 공개했다. 각 항목은 도구 호출 궤적과 짧은 prior memories를 포함하며, 응답별 leak/omit 레이블과 쌍별 선호 및 자유문 논거(rationale)를 포함한다.

주석-조건 보상(Annotation-Conditioned Reward) 도입

동일 프롬프트에 대한 인간 주석과 설명을 판단 시점에 LLM judge 입력으로 제공해, 새로 생성된 응답을 평가할 때 프롬프트별 인간 기준으로 판단하도록 하는 보상 방식을 제시했다. 이 방식은 프롬프트별 문맥을 유지한 채 인간 신호를 직접 반영한다.

생성형 보상 모델(gen-RM) 및 비교

pairwise 선호와 per-response leak 레이블을 예측하도록 RL로 학습한 generative reward model(gen-RM)을 구성하고, annotation-conditioned judge와 비교 평가를 수행했다. gen-RM은 주석 없는 상황에서 크로스-프롬프트 일반화된 보상 제공을 목표로 한다.

합성 시나리오 생성 파이프라인 및 품질 필터링

Qwen3.5-397B-A17B, gpt-oss-120b, Nemotron-3-Super-120B-A12B를 활용한 자동 시나리오 생성·중복 제거·도메인 균형화·감지 기반 필터링 파이프라인을 구현해, 실제로 모델들이 누설하는 경우만 포함되도록 검증된 샘플을 확보했다.

실험: judge 보정과 RL 학습 효과 검증

동일 프롬프트 주석을 입력했을 때 LLM judge 간 Cohen’s κ가 평균적으로 leaks 0.47→0.71, omits 0.25→0.44로 상승했음을 보고하고, annotation-conditioned reward로 학습한 소형 공개 가중치 모델들이 PrivacyAlign 및 외부 벤치마크(PrivacyLens, CIMemories)에서 누수 감소와 유용성(omit 절감 또는 유지) 개선을 달성했다.

핵심 아이디어 이해하기

문제 출발점: 에이전트형 LLM은 user instruction을 수행하기 위해 여러 도구(예: GoogleDrive, Outlook365, SalesforceCRM 등)를 호출하고, 그 결과와 과거 세션의 메모리(prior memories)를 종합해 최종 외부 행동(이메일·슬랙메시지 등)을 생성한다. 이때 민감 정보가 도구 응답이나 메모리에 존재하면 단순히 문자열 필터로는 '문맥에 따라 적절한 공개 여부'를 판별하기 어렵다. 기존 자동화 평가는 LLM-judge 또는 문자열 매칭에 의존해 인간의 맥락적 규범을 대체하는 한계가 있었다.

방법론

전체 접근 방식과 핵심 아이디어: 프롬프트별로 수집된 인간의 쌍별 선호(pairwise preferences), per-response leak/omit 라벨, 그리고 자유문 rationale을 보상학습과 자동평가 모두에 활용한다. 구체적으로 두 보상원(reward source)을 비교했다: (1) annotation-conditioned pairwise LLM judge — 판단 시점에 동일 프롬프트의 인간 주석을 입력으로 받아 두 후보 응답을 [-2,+2] 스케일로 비교 평가, (2) trained generative reward model(gen-RM) — 전체 훈련셋의 구조화된 주석(선호·leak 레이블)만 학습해 프롬프트별 주석 없이 응답을 평가.

주요 결과

데이터·주석 통계: PrivacyAlign은 1,350개 response-pair(1,150 train / 200 test)와 3,516개의 인간 주석(599 unique annotators)을 포함한다. Judge 보정 효과: 동일 프롬프트 주석을 LLM judge에 제공하면 inter-judge Cohen’s κ가 평균적으로 leaks 0.47→0.71, omits 0.25→0.44로 상승했다(표 2). Gen-RM 정확도: gen-RM 학습 전 base 모델의 pairwise 정확도는 0.427–0.522 수준이었으나, gen-RM 학습 후 0.770–0.830으로 증가했다(표 5). RL 성능: annotation-conditioned reward로 RL 학습한 Nemotron-3-Nano-4B는 PrivacyAlign naive prompt에서 clean rate를 32.6%까지 올렸고, PrivacyLens에서 leak 비율을 49.3%→38.3%로 낮추며 helpfulness 1.91→2.06을 달성했다(표 11).

기술 상세

데이터 생성 파이프라인: 각 시나리오 생성은 무작위 이름(SSA baby-name)으로 시작해 profile(성별·ethnicity·religion 등)과 시나리오(데이터 주체·발신자·수신자·toolkit 목록·final-action 유형·3–5문장 스토리·민감/관련 정보 항목)를 K=4 후보 over-generate 후 대표 후보 선택 방식으로 구성된다. 각 시나리오는 3–14개의 읽기 전용 tool calls로 구성된 trajectory와 5–10개의 one-sentence memories를 포함한다. 품질 필터는 각 생성 모델이 자체적으로 실행하는 시나리오-품질 심사, sensibility 체크, 그리고 누수 검사를 포함한다. 중복 제거는 Qwen3-Embedding-8B의 임베딩 코사인 유사도 0.95 기준을 사용한다.

한계점

논문에 명시된 한계: (1) 합성 시나리오 사용 — 실제 사용자 트레이스 대신 LLM 생성 샘플을 사용해 현실감·데이터 편향 문제가 존재한다. (2) LLM-judge 의존성 — 평가 및 학습 보상에 LLM judge가 활용되며, judge가 기저 편향을 가질 수 있다. (3) annotator heterogeneity — Prolific annotator 간 가치관 차이로 inter-annotator κ가 특히 omit에서 낮음(0.12). (4) 모델 규모 제한 — RL 실험은 공개 소형 체크포인트(4B–8B)에서 수행되어 대형 모델로의 직접적 확장성은 검증되지 않음. (5) 배포 주의 — 높은 clean rate가 모든 실제 배포 상황을 보장하진 않음.

실무 활용

PrivacyAlign와 annotation-conditioned reward는 에이전트형 어시스턴트에서 민감 정보 누출을 줄이면서도 필요한 정보를 유지하는 정책을 학습하는 데 적용 가능하다. 합성 시나리오·주석이 공개되므로 사내 정책 학습과 평가에 활용할 수 있다.

엔터프라이즈 어시스턴트가 이메일·채널 메시지 발송 시 내부 계정·건강 정보 등 민감 항목의 누출을 자동 차단하면서도 업무에 필요한 필드만 포함하도록 정책 학습
도구 결합(tool orchestration)을 수행하는 멀티툴 에이전트에서 특정 수신인·관계(context)에 따른 공개 기준을 반영한 응답 생성
프라이버시 평가 파이프라인으로서 모델 업데이트 전후의 누수·유용성(clean rate) 회귀 검증

코드 공개 여부: 공개

키워드

privacy alignment(프라이버시 정렬)annotation-conditioned reward(주석 조건 보상)reward modeling(보상 모델링)contextual integrity(맥락적 무결성)RL(강화학습)

용어 해설

주석(어노테이션) 조건 보상(Annotation-Conditioned Reward): — 각 프롬프트에 대해 수집된 인간의 pairwise 선호와 자유문 설명을 판단 시점(prompt)에서 보상 판단자에 입력해, 해당 프롬프트 문맥을 반영한 보상 점수를 생성하는 방식이다. 본문에서는 이 보상이 새로 샘플링된 응답을 판정할 때 동일 프롬프트의 인간 주석을 함께 제공해 판단을 현장화(local)한다는 점이 중요하다.
보상 모델링(Reward Modeling): — 사람의 선호(또는 레이블)를 학습해 모델 출력에 대한 스칼라 보상을 예측하는 접근이다. 본문에서는 pairwise 선호와 per-response leak 레이블을 예측하도록 학습한 generative reward model(gen-RM)과, 주석을 컨텍스트로 주는 in-context judge 방식을 대비한다.
맥락적 무결성(Privacy)(Contextual Integrity): — 정보 공개의 적절성을 수신자·관계·사회적 규범에 따라 판단하는 이론적 틀이다. 본문은 이 이론을 기준으로 에이전트의 도구 호출 결과·기억에서 민감 정보가 부적절하게 공개되는지를 판정한다.
쌍별 선호(Pairwise Preference): — 두 응답을 비교해 어느 쪽이 더 인간의 기대에 부합하는지 표시하는 라벨링 방식이다. 본문에서는 annotator별 선호를 평균·스케일링해 보상 학습 및 gen-RM의 학습 목표로 사용한다.
생성형 보상 모델(Generative Reward Model (gen-RM)): — task와 두 레퍼런스 응답을 입력으로 받아 per-response leak 여부와 전체 pairwise 선호 점수를 생성하도록 RL로 학습한 모델이다. 학습 후에는 프롬프트별 주석 없이도 새로운 응답을 평가하는 데 사용된다.