MosaicLeaks: 딥 리서치 에이전트의 프라이버시 유출 위험과 해결책

섹션별 상세

01

모자이크 효과(Mosaic Effect)는 에이전트가 로컬 문서 정보를 바탕으로 웹 검색을 수행할 때, 개별 쿼리는 무해해 보이지만 이를 조합하면 기업 기밀이 노출되는 현상임. 쿼리 로그만으로도 의도(Intent), 답변(Answer), 전체 정보(Full-Information) 유출이 발생함.

모자이크 효과의 작동 원리를 보여주는 다이어그램. — Diagram개별적인 웹 검색 쿼리들이 모여 어떻게 기업의 민감한 정보를 재구성하는지 보여줌. 의도, 답변, 전체 정보 유출의 3단계 위험을 설명함.

02

시스템 프롬프트로 유출 방지를 지시하는 방식은 성능 저하를 유발하며 유출을 완전히 막지 못함. Qwen3-4B 모델 실험 결과, 프롬프트 적용 시 유출은 다소 감소하나 작업 성공률이 48.7%에서 44.5%로 하락함.

프롬프트 적용 전후의 작업 성공률과 유출률 비교 차트. — Chart프롬프트만으로는 유출을 효과적으로 막지 못하며 성능 저하가 동반됨을 보여줌.

03

작업 성공률을 높이기 위해 학습을 강화하면 에이전트가 더 많은 문맥을 쿼리에 포함하게 되어 프라이버시 유출이 심화됨. 작업 성능 중심의 학습은 유출률을 34.0%에서 51.7%까지 상승시킴.

04

PA-DR(Privacy-Aware Deep Research) 기법은 상황별 보상(Situational Reward)과 학습된 프라이버시 보상을 결합하여 에이전트를 학습시킴. 상황별 보상은 전체 롤아웃이 아닌 개별 단계별로 정확한 신용 할당을 수행하여 샘플 효율성을 5-6배 개선함.

결과 기반 보상과 상황별 보상의 신용 할당 비교 다이어그램. — Diagram상황별 보상이 에이전트의 각 단계별 행동에 대해 어떻게 더 정교하게 보상을 부여하는지 설명함.

상황별 보상의 샘플 효율성 비교 차트. — Chart상황별 보상이 기존 방식 대비 5-6배 적은 샘플로 동일한 성능에 도달함을 보여줌.

05

PA-DR 적용 시 작업 성공률은 58.7%로 유지하면서 유출률을 9.9%까지 획기적으로 낮춤. 이는 단순히 검색 횟수를 줄이는 것이 아니라, 쿼리에서 민감한 수치나 고유 명사를 제거하는 방식으로 안전한 검색을 수행함.

학습 방식에 따른 작업 성능과 유출률의 파레토 프론티어. — ChartPA-DR이 작업 성능을 유지하면서 유출률을 획기적으로 낮추는 것을 시각화함.

용어 해설

모자이크 효과(Mosaic Effect): — 개별적으로는 무해해 보이는 파편화된 정보들이 웹 검색 쿼리 로그를 통해 조합되어, 결과적으로 민감한 기업 기밀이나 개인 정보가 노출되는 현상. 에이전트의 검색 패턴 분석을 통해 발생함.
상황별 보상(Situational Reward): — 전체 롤아웃 결과에 대해 하나의 보상을 부여하는 대신, 에이전트의 각 단계별 행동(검색, 선택 등)에 대해 직접적인 보상을 부여하는 강화학습 기법. 학습 효율성과 정밀도를 높임.
멀티홉 질문(Multi-hop Question): — 한 번의 검색으로 답을 찾을 수 없으며, 여러 단계의 정보 검색과 추론 과정을 거쳐야 해결 가능한 질문. 에이전트의 검색 능력을 평가하는 데 사용됨.

기술

Qwen3
PA-DR
RL

활용 사례

기업용 딥 리서치 에이전트 보안 강화
프라이버시 보호를 위한 에이전트 학습
효율적인 강화학습 보상 설계

언급된 리소스

논문MosaicLeaks: Privacy Risks in Querying-in-the-Open for Deep Research Agents