대형 언어 모델로부터 인간 정렬 프라이버시 민감도 평가 지식 증류

텍스트의 프라이버시 위험을 진단하기 위해 거대 모델을 사용하면 비용이 많이 들고 데이터 유출 위험이 발생한다. 이 연구는 LLM의 정교한 판단력을 아주 작은 모델로 옮겨, 로컬 환경에서도 빠르고 안전하게 개인정보 노출 여부를 판별할 수 있는 길을 열었다.

기존의 프라이버시 평가는 이름이나 주소 같은 특정 단어를 찾는 방식에 의존했다. 하지만 프라이버시는 문맥에 따라 달라지며, 개별 정보가 결합되었을 때 발생하는 민감도를 포착하기 어렵다. LLM은 이러한 복잡한 문맥을 이해할 수 있지만, 추론 비용이 높고 외부 API를 거쳐야 하므로 민감한 데이터를 다루기에 보안상 부적합하다.

이 연구는 지식 증류(Knowledge Distillation)를 통해 LLM의 문맥 이해 능력을 작은 인코더 모델에 주입한다. 교사 모델인 Mistral Large 3가 20만 개의 문장을 읽고 1(무해)부터 5(매우 민감)까지 점수를 매기면, 학생 모델인 Ettin-150M은 이 점수를 정답지로 삼아 학습한다. 이 과정에서 LLM의 복잡한 추론 결과가 작은 모델의 가중치로 압축된다.

결과적으로 150M 파라미터의 작은 모델만으로도 인간이 느끼는 프라이버시 위협을 정확히 감지할 수 있게 된다. 이는 대규모 데이터 처리에 드는 비용을 획기적으로 줄이면서도, 데이터가 외부로 유출되지 않는 로컬 환경에서의 실시간 프라이버시 검사가 가능함을 의미한다.

10개 도메인(블로그, 이메일, 의료 질문, 레딧 등)에서 20만 개의 텍스트를 수집했다. 교사 모델인 Mistral Large 3(675B)에 5단계 Likert 척도 정의를 프롬프트로 제공하여 각 텍스트의 민감도 점수를 생성했다. 이 과정에서 명시적인 식별자뿐만 아니라 주제의 민감도와 자기 노출 수준을 모두 고려하도록 유도했다.

학생 모델로는 Ettin-150M, Ettin-17M, BERT-base, ModernBERT-base를 선정했다. 5개 클래스 분류 문제로 정의하여 Fine-tuning을 수행했다. 학습률 2e-5, 배치 크기 16, 3 에포크 동안 학습을 진행했으며, 90%의 학습 데이터와 5%의 검증 및 테스트 데이터를 사용했다. [입력 텍스트 → 인코더 모델 통과 → 5개 클래스 확률 출력 → 실제 점수와의 차이 계산 → 손실 함수 최소화]

모델의 예측값과 인간의 실제 평가 간의 일치도를 측정하기 위해 Krippendorff's alpha를 사용했다. 또한 순서가 있는 레이블(1-5)의 특성을 반영하여 Mean Absolute Error(MAE)를 통해 예측값과 실제값 사이의 거리를 분석했다. MAE는 [예측 점수 - 실제 점수]의 절대값을 계산하여 모델이 정답에서 얼마나 멀리 떨어져 있는지를 수치화한다.

Ettin-150M 모델은 테스트 세트에서 74.9%의 정확도와 68.1%의 Macro F1 점수를 기록했다. 특히 가장 민감한 클래스(C5)에서 68.6의 F1 점수를 보여 극단적인 프라이버시 침해 사례를 효과적으로 포착했다. 중간 단계인 C2-C4에서는 인접 클래스 간의 모호성으로 인해 성능이 다소 낮았으나, MAE 0.28로 오차 범위가 매우 작았다.

인간 정렬 실험에서 Ettin-150M은 Krippendorff's alpha 0.737을 달성하여, 교사 모델인 Mistral Large 3의 0.716보다 높은 일치도를 보였다. 이는 대량의 데이터를 통한 증류 과정이 교사 모델의 개별 프롬프트 노이즈를 제거하는 'Denoising' 효과를 냈음을 시사한다. 또한 인간 평가자들 사이의 평균 일치도(0.54)와 유사한 수준의 성능을 보였다.

비식별화 평가(TAB) 실험 결과, 직접 식별자를 마스킹했을 때 민감도 점수가 0.34 감소하고 모든 정보를 마스킹했을 때 1.86 감소하는 등 마스킹 수준에 따른 프라이버시 보호 효과를 수치로 정확히 반영했다. 반면 무작위 마스킹 시에는 오히려 민감도 점수가 상승하는 현상을 포착하여, 모델이 단순히 마스킹 토큰의 존재가 아닌 문맥의 의미를 파악하고 있음을 입증했다.

아키텍처는 인코더 전용(Encoder-only) 트랜스포머 구조를 기반으로 하며, 특히 Ettin 모델은 효율적인 추론을 위해 최적화된 구조를 가진다. 지식 증류 과정에서 소프트 타겟(Logits) 대신 하드 레이블(Predicted Labels)을 사용하여 블랙박스 교사 모델로부터 지식을 전이했다.

프라이버시 민감도를 단순 이진 분류가 아닌 5단계 서열 척도로 학습시켜, 정보의 노출 정도에 따른 미세한 차이를 모델이 학습하도록 설계했다. 학습 데이터의 불균형(무해한 텍스트 46%, 매우 민감한 텍스트 6%) 문제를 해결하기 위해 10개 도메인의 데이터를 고르게 섞어 일반화 성능을 높였다.

실험에 사용된 Ettin-150M은 1억 5천만 개의 파라미터만으로도 6,750억 개의 파라미터를 가진 Mistral Large 3의 판단 능력을 성공적으로 복제했다. 이는 특정 도메인 작업에서 거대 모델의 추론 능력이 훨씬 작은 모델로도 충분히 압축될 수 있음을 보여주는 사례이다.

교사 모델인 Mistral Large 3의 프라이버시 관념과 잠재적 편향을 그대로 상속받을 수 있다. 학습 데이터가 영어로만 구성되어 있어 다국어 환경에서의 성능은 검증되지 않았다. 또한 청중이나 목적 등 구체적인 상황 정보 없이 텍스트 자체만으로 평가한다는 한계가 있다.