대형 언어 모델로부터 인간 정렬된 개인정보 민감도 평가 지식 증류

텍스트 내 개인정보 민감도를 판단할 때 거대 모델을 쓰면 비용이 많이 들고 데이터 유출 위험이 있다. 이 연구는 아주 작은 모델로도 인간과 유사한 수준의 개인정보 판단이 가능함을 입증하여, 로컬 환경에서도 안전하고 빠른 개인정보 보호 시스템 구축의 길을 열었다.

기존의 개인정보 보호 기술은 주로 이름이나 전화번호 같은 특정 개체(Entity)를 찾는 데 집중했다. 하지만 실제 개인정보는 문맥에 따라 민감도가 달라지며, 질병이나 법적 상황 같은 주제 자체가 민감한 경우도 많다. 이를 해결하기 위해 최근에는 LLM을 판사로 사용하는 LLM-as-a-Judge 방식이 도입되었으나, API 비용과 데이터 전송 시의 보안 문제가 걸림돌이었다.

이 논문은 지식 증류(Knowledge Distillation)를 통해 이 문제를 해결한다. 거대한 Mistral Large 3 모델이 텍스트의 미묘한 뉘앙스를 파악해 내린 1~5점 사이의 점수를 정답지로 삼아, 훨씬 작은 Ettin-150M 같은 인코더 모델을 학습시킨다. 이는 거대 모델의 복잡한 추론 결과를 작은 모델의 결정 경계(Decision Boundary)로 압축하는 과정이다.

결과적으로 150M 파라미터의 작은 모델이 675B 모델보다 오히려 인간의 평균적인 판단에 더 가깝게 정렬되는 현상이 나타났다. 이는 대규모 데이터로 학습하는 과정에서 교사 모델의 개별적인 무작위성(Stochasticity)이 제거되고, 더 일관된 판단 기준이 형성되는 노이즈 제거(Denoising) 효과가 발생했기 때문이다.

10개의 공개 데이터셋(Enron Emails, Reddit, Medical Questions 등)에서 20만 개의 텍스트를 샘플링하여 학습 데이터를 구성했다. 각 텍스트는 Mistral Large 3 모델에 입력되어 1(무해함)부터 5(매우 사적인 정보 포함)까지의 리커트 척도 점수를 부여받았다. [텍스트와 5단계 척도 정의를 입력으로] → [Mistral Large 3의 Zero-shot 추론을 수행해] → [정수 형태의 점수를 얻고] → [이를 학생 모델 학습을 위한 Soft Label로 활용한다].

학생 모델로는 Ettin-150M, Ettin-17M, BERT-base, ModernBERT-base를 사용했다. 모든 모델은 동일한 하이퍼파라미터(Learning rate 2e-5, Batch size 16, 3 Epochs)로 파인튜닝되었다. [교사 모델이 생성한 20만 개의 라벨을 입력으로] → [Cross-Entropy Loss를 최소화하는 방향으로 가중치를 갱신해] → [5개 클래스 분류기를 생성하고] → [작은 모델이 텍스트의 개인정보 민감도를 예측하게 한다].

성능 평가는 Krippendorff's alpha 계수를 사용하여 인간 평가자와의 일치도를 측정했다. [모델의 예측값과 인간의 평가값 쌍을 입력으로] → [관찰된 불일치도와 우연에 의한 불일치도의 비율을 계산해] → [0에서 1 사이의 값을 도출하며] → [1에 가까울수록 인간과 완벽하게 일치함을 의미한다].

Ettin-150M 모델은 74.9%의 정확도와 68.1의 Macro F1 점수를 기록하며 BERT-base(73.3%)나 ModernBERT-base(73.7%)를 앞섰다. 특히 가장 민감한 정보인 C5 클래스에서 68.6의 F1 점수를 기록하여 극단적인 개인정보 유출 사례를 잘 식별해냈다.

인간 정렬도 측면에서 Ettin-150M은 Krippendorff's alpha 0.737을 기록하여 교사 모델인 Mistral Large 3의 0.716을 상회했다. 이는 인간 평가자 간의 평균적인 일치도와 유사한 수준으로, 작은 모델이 범용적인 개인정보 인식 능력을 성공적으로 학습했음을 보여준다.

비식별화 평가(TAB) 실험에서 직접 식별자(Direct Identifiers)를 마스킹했을 때 점수가 0.34점 감소하고, 모든 정보를 마스킹했을 때 1.86점이 감소하는 등 모델이 마스킹의 강도와 종류에 따른 민감도 변화를 정확히 포착했다. 반면 무작위 마스킹 시에는 오히려 민감도 점수가 상승하여, 모델이 단순히 마스킹 토큰의 존재가 아닌 문맥의 파괴와 정보 노출 여부를 판단함을 입증했다.

아키텍처는 인코더 전용(Encoder-only) Transformer 구조를 기반으로 하며, 특히 Ettin 모델은 효율적인 추론을 위해 최적화된 구조를 가진다. 교사 모델인 Mistral Large 3는 675B 파라미터 규모의 거대 모델로, 복잡한 문맥 이해를 통해 고품질의 의사 라벨(Pseudo-labels)을 제공한다.

지식 증류 과정에서 로짓(Logits) 대신 예측된 라벨(Hard labels)만을 사용하는 블랙박스 증류 방식을 채택했다. 이는 교사 모델의 내부 확률 분포에 접근할 수 없는 API 기반 환경에서도 적용 가능한 범용적인 방식이다.

데이터 불균형 문제를 해결하기 위해 10개의 다양한 도메인에서 데이터를 수집했다. 건강 정보(MHB)나 고백(RC) 관련 도메인은 민감도가 높은 반면, 리뷰(TR, YR)나 트위터(TW)는 민감도가 낮게 나타나는 특성을 학습에 반영하여 도메인 일반화 성능을 높였다.

교사 모델인 Mistral Large 3의 편향과 개인정보 개념을 그대로 상속받는다. 또한 학습 데이터가 영어로만 구성되어 있어 다국어 환경에서의 성능은 검증되지 않았다. 모델의 점수는 법적인 개인정보 보증이 아니며, 인간의 감독 없이 최종 결정을 내리는 용도로 사용해서는 안 된다.