PII-TRACE와 PII-Tracer로 다중 턴 개인정보 탐지

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Perplexity는 Hybrid AI에서 민감한 텍스트가 Cloud 모델로 넘어가기 전에 로컬에서 PII를 찾도록 PII-TRACE benchmark와 0.6B 규모의 PII-Tracer를 제시했습니다. PII-TRACE는 최대 100,000자 이상의 다국어·다중 턴 대화에서 동일 식별자의 모든 언급을 찾는 일관성과 문자 단위 precision·recall·F1을 함께 측정합니다. PII-Tracer는 Qwen3 backbone에 양방향 attention과 BIOES token tagging head를 결합하고, 12개 시스템 중 character F1 0.629와 반복 식별자 일관 탐지율 79.4%를 기록했습니다. 50% 겹침 슬라이딩 윈도를 적용하면 전체 character recall이 0.830에서 0.965로, 다중 언급 일관 탐지율이 0.794에서 0.954로 상승했습니다.

빠른 이해

새로운 점

개별 record가 아니라 100,000자 이상 다중 턴 대화에서 동일 PII의 모든 반복 언급을 찾는 일관성을 benchmark의 핵심 평가 대상으로 삼고, 이를 로컬에서 처리하는 0.6B detector를 함께 제시한 점입니다.

핵심 메커니즘

대화 token을 4,096-token bidirectional window에 입력하면 Qwen3 기반 encoder가 각 token의 1,024차원 representation을 만들고, 37-class BIOES tagging head가 아홉 PII 유형의 경계와 유형을 예측합니다. Conversation-level binary head는 민감한 material 포함 여부를 보조적으로 판정하며, 학습 손실은 $L=1.5L_{tag}+0.3L_{sens}$ 로 계산합니다. 여기서 $L_{tag}$ 는 token 단위 span tagging 손실, $L_{sens}$ 는 대화 단위 민감도 손실이고 1.5와 0.3은 각각의 영향도입니다. 추론에서는 constrained Viterbi decoder가 유효한 BIOES 라벨열을 선택한 뒤 character span으로 변환하고, 애플리케이션은 해당 구간을 local 보존·redaction·사용자 승인 요청 중 하나로 처리합니다. 기본 window가 긴 대화를 덮지 못하면 50% overlap sliding window를 적용해 전체 character recall을 0.830에서 0.965로 높입니다.

핵심 수치

PII-TRACE 규모: 13,148개 대화, 13개 언어, 10개 writing system, 37,431개 identifier mention- 아홉 PII 유형을 문자 단위로 라벨링
Character F1: PII-Tracer 0.629- 12개 detector 중 최고
반복 identifier 일관 탐지: PII-Tracer 79.4%- 반복 identifier의 모든 mention을 찾은 비율; GPT-5.6-sol 57.0%
Cross-turn identifier 일관 탐지: PII-Tracer 77.6%- 여러 turn에 걸친 identifier의 모든 mention을 찾은 비율; GPT-5.6-sol 55.1%
Sliding-window 효과: 전체 character recall 0.830 -> 0.965- 50% overlap 적용, 재학습 없음
외부 benchmark Character F1: ai4privacy 0.950, Nemotron-PII 0.847, SPY 0.585, Gretel PII 0.952, TAB 0.594- OpenAI Privacy Filter보다 다섯 데이터셋 모두 높음

섹션별 상세

Hybrid AI의 개인정보 경계

Perplexity Computer의 Hybrid compute는 연구·추론·계획을 Cloud frontier model에 맡기고 개인 파일과 민감한 정보 처리는 Mac의 local model에 남기는 구조입니다. 이 분할은 텍스트가 기기를 떠나기 전에 PII를 식별할 때만 실제 보호 기능으로 이어집니다. 로컬 privacy gate는 민감한 구간을 기기에 보존하거나 감지된 문자열을 redaction하거나 Cloud 전송 전에 사용자 승인을 요청합니다. PII-Tracer는 PII로 예측한 span을 하나의 routing signal로 제공하고, 애플리케이션이 이 신호에 따라 입력 위치와 전송 여부를 결정합니다. 따라서 승인된 context는 Cloud model의 능력을 활용하면서 감지된 개인정보는 로컬에 남게 됩니다.

다중 턴 탐지의 새 조건

긴 대화에서는 같은 이름·전화번호·이메일이 여러 turn에 반복되므로 한 번의 누락만으로도 보호 대상 정보가 Cloud로 전달될 수 있습니다. 문자열의 표면 형태만으로는 해당 이름이 사용자를 가리키는지, 공개 인물인지, assistant가 만든 placeholder인지 판단하기 어렵고 대화 context가 PII 여부를 좌우합니다. 기존 detector와 benchmark는 주로 개별 record를 처리하므로 긴 다중 턴 대화에서 반복 언급을 빠짐없이 찾는 능력을 따로 측정하지 않았습니다. PII-TRACE는 같은 identifier의 모든 mention을 찾아야 일관 탐지로 인정해, 많은 PII를 찾는 성능과 모든 복사본을 놓치지 않는 성능을 분리합니다.

PII-TRACE benchmark 구성

PII-TRACE는 일관된 coverage, 긴 context에 대한 robustness, 다국어·혼합 형식 처리를 deployment 조건으로 삼고 대화를 isolated record로 쪼개지 않은 채 전체 dialogue 단위로 평가합니다. 13개 언어와 10개 writing system에 걸친 synthetic user-assistant conversation 13,148개에 아홉 종류의 PII mention 37,431개가 문자 단위로 표시되어 있으며, 41%는 structured content를 포함합니다. PII가 표시된 5,645개 대화 중 63.8%에는 두 번 이상 등장하는 identifier가 있고, 28.7%에는 여러 turn에 걸쳐 반복되는 identifier가 있습니다. Character level에서는 detector가 표시한 텍스트 중 실제 PII의 비율을 precision으로, 정답 PII 중 찾은 비율을 recall로 계산하고 두 값의 균형을 F1로 나타냅니다. Identifier level에서는 반복되는 모든 mention의 모든 문자를 찾았는지 별도로 집계합니다.

Production 데이터의 합성화

원본 production conversation을 공개하지 않으면서 turn 구조와 반복 관계를 유지하기 위해 각 turn에서 아홉 유형의 PII를 표시한 뒤 동일 유형의 반복값을 하나의 entity ID로 묶습니다. 표시된 원래 값은 유형별 placeholder로 바꾸고, language model이 placeholder를 보존한 채 각 turn을 바꾸어 쓰도록 한 다음 형식에 맞는 synthetic value를 삽입합니다. 한 conversation 안에서 반복 mention은 같은 합성값을 받고 서로 다른 conversation은 독립적인 값을 사용하므로 원본 식별자와 반복 패턴을 분리할 수 있습니다. 이후 alignment pass가 문자 offset을 다시 계산하고, 세 가지 automated gate가 저장된 span과 치환값의 일치, 반복값의 동일성, Presidio와 regular-expression 재탐색에서 원본 PII가 사라졌는지를 확인합니다. 검사를 통과하지 못한 record는 다시 생성하거나 제외하며, 별도의 language model과 사람이 표본을 점검합니다.

0.6B 로컬 탐지 모델

PII-Tracer는 Qwen3 backbone을 바탕으로 만든 0.6B bidirectional encoder이며, 텍스트 생성이 아니라 PII span의 경계와 유형을 찾도록 설계되었습니다. Qwen3의 causal mask를 padding-aware bidirectional attention으로 바꾸어 4,096-token window 안에서 각 token이 앞뒤 turn 정보를 함께 참조하게 합니다. Encoder는 token마다 1,024차원 representation을 만들고, tagging head는 일반 텍스트 O 라벨 하나와 아홉 PII 유형별 B·I·E·S 네 라벨을 합친 37개 클래스를 출력합니다. 별도의 binary head는 대화에 건강·종교 정보처럼 민감한 material이 포함됐는지 판정합니다. 약 714,000개 sample로 3 epoch 학습하면서 span tagging과 conversation-level sensitivity 예측을 함께 최적화했고, 추론 때는 유효한 BIOES 경로만 선택하는 constrained Viterbi decoder가 결과를 정확한 character span으로 되돌립니다.

학습 손실과 경계 복원

두 학습 신호는

L=1.5L_{tag}+0.3L_{sens}

로 결합되며,

L_{tag}

는 37개 BIOES token label의 손실이고

L_{sens}

는 대화 단위 민감도 예측 손실입니다. 1.5와 0.3의 가중치는 span 탐지를 주된 과제로 유지하면서 대화 전체 context를 활용하는 보조 신호를 더하도록 설정됐습니다. PII 유형별 B·I·E·S 라벨은 여러 token으로 된 span의 시작·내부·끝과 한 token span을 구분하며, Viterbi decoder는 B-private_person 뒤에 I-private_person 또는 E-private_person만 허용합니다. 예를 들어 private_person span 뒤에 private_email의 I 라벨이 바로 이어지는 경로는 제외하므로 token별 독립 판정에서 생길 수 있는 유형 혼합을 막습니다. 입력 token의 라벨열이 결정되면 decoder가 이를 redaction과 local routing에 사용할 실제 문자 구간으로 변환합니다.

문자 단위와 반복 탐지 성능

12개 시스템 비교에서 PII-Tracer는 character F1 0.629로 가장 높았고 span-overlap F1과 span-containment F1에서는 두 번째였습니다. GPT-5.6-sol과 Claude Sonnet 5는 전체 성능이 비슷했으며 GPT-5.6-sol은 span-level F1 두 지표에서 높았지만 character F1은 더 낮았습니다. PII-Tracer는 0.6B parameter로 near-frontier span-level detection을 제공하면서 입력을 Cloud로 보내지 않고 로컬에서 처리하는 점이 Hybrid AI의 privacy gate 조건과 맞습니다. 반복 횟수별 일관 탐지율은 한 번 등장할 때 0.917, 두 번 0.873, 세 번에서 다섯 번 0.796, 여섯 번에서 열 번 0.691로 나타났습니다. 전체 평가에서 반복 identifier의 모든 mention을 찾은 비율은 79.4%, 여러 turn에 걸친 identifier는 77.6%였으며 GPT-5.6-sol은 각각 57.0%와 55.1%였습니다.

긴 대화와 다국어 처리

1,922개 test conversation을 길이별로 나누면 1,000자 미만 167개, 1,000~10,000자 1,292개, 10,000자 이상 463개이며 기본 4,096-token window에서는 recall이 각각 0.975, 0.955, 0.687로 감소합니다. 긴 두 구간에서 precision은 약 0.51로 유지되어, 긴 입력에서는 오탐보다 window가 전체 대화를 덮지 못하는 문제가 더 큰 요인으로 나타났습니다. 50% overlap sliding-window decoding을 재학습 없이 적용하자 전체 character recall은 0.830에서 0.965로, multi-mention consistent detection은 0.794에서 0.954로 상승했습니다. 여섯 언어 subset에서는 German 0.735, French 0.633, Italian 0.676, Russian 0.651의 character F1로 네 언어에서 선두였고 English와 Korean에서도 최고 결과와 각각 0.016, 0.036 이내였습니다. 반복 식별자에 대한 consistent detection은 여섯 언어 모두에서 0.80~0.93 범위였습니다.

외부 benchmark 검증

PII-TRACE 밖에서도 ai4privacy validation 47,728개, Nemotron-PII test 100,000개, SPY 8,688개, Gretel PII 5,000개, TAB ECHR 127개로 PII-Tracer와 OpenAI Privacy Filter를 비교했습니다. PII-Tracer의 character F1은 각각 0.950 대 0.907, 0.847 대 0.709, 0.585 대 0.543, 0.952 대 0.895, 0.594 대 0.350으로 다섯 데이터셋 모두 더 높았습니다. 실제 사람이 라벨링한 텍스트로 구성된 TAB에서는 precision이 0.986 대 0.982로 거의 같았지만 recall은 0.425 대 0.213으로 약 두 배였습니다. 이 결과는 다중 턴 synthetic conversation에서 얻은 문자 단위 탐지 우위가 기존 single-record benchmark에서도 유지됐음을 보여줍니다. PII-TRACE와 PII-Tracer는 긴 대화 전체에서 민감한 context를 로컬에 남기기 위한 평가 기준과 reference model로 함께 공개될 예정입니다.

용어 해설

개인 식별 정보(Personally Identifiable Information (PII)): — 이름·전화번호·이메일처럼 특정 개인을 식별할 수 있는 정보입니다. Hybrid AI에서는 민감한 텍스트가 Cloud 모델로 전송되기 전에 로컬 탐지기가 해당 문자열의 위치를 찾아 차단·마스킹하거나 사용자 승인을 요청하는 기준으로 쓰입니다.
문자 단위 F1(Character F1): — 탐지기가 PII로 표시한 각 문자가 실제 정답과 얼마나 일치하는지 precision과 recall을 함께 반영하는 지표입니다. 두 값의 조화평균으로 계산되므로 PII를 많이 찾으면서 일반 텍스트를 과도하게 표시하지 않는 균형을 측정합니다.
BIOES 태깅(BIOES): — Named Entity Recognition에서 토큰이 개체의 시작·중간·끝·단일 토큰인지 표시하는 방식입니다. PII-Tracer는 아홉 가지 PII 유형마다 B·I·E·S 라벨을 사용해 탐지된 구간의 정확한 경계를 복원합니다.
Viterbi 디코더(Viterbi Decoder): — 각 토큰의 예측 점수를 독립적으로 고르는 대신, BIOES 규칙을 만족하는 전체 라벨열 중 점수가 가장 높은 경로를 찾는 디코더입니다. 잘못된 유형 전환을 막아 PII 구간의 시작과 끝을 일관되게 결정합니다.
슬라이딩 윈도 디코딩(Sliding-Window Decoding): — 긴 입력을 일정한 길이의 창으로 나누고 창 사이에 겹치는 구간을 두어 여러 번 판정하는 처리 방식입니다. PII-Tracer의 4,096토큰 범위를 넘는 대화에서도 반복된 식별자를 다시 볼 기회를 늘려 recall을 높입니다.

기술

Hybrid compute
Perplexity Computer
PII-TRACE
PII-Tracer
Qwen3
Presidio
BIOES
Viterbi decoder
OpenAI Privacy Filter
ai4privacy
Nemotron-PII
SPY
Gretel PII
TAB ECHR

언급된 리소스

문서원문 링크