Kaggle PII 데이터 탐지 경진대회 1위 솔루션: Team Fold Zero의 접근법

• •6가지 주요 PII 유형(Name, ID, Phone, URL, Email, Username) 분류
• •훈련 데이터 내 PII 라벨 부족으로 인한 LLM 기반 합성 데이터 생성
• •데이터 불균형 해결을 위한 외부 데이터셋 통합 전략 수립

PII(Personally Identifiable Information)는 개인을 식별할 수 있는 정보를 의미하며, 이를 자동으로 탐지하는 것은 개인정보 보호의 핵심 기술이다.

• •DeBERTa-v3-large를 핵심 모델 아키텍처로 선정
• •데이터의 양보다 질(Quality over Quantity)이 성능 향상의 핵심임을 확인
• •Nicholas Broad 데이터셋이 가장 유효한 외부 리소스로 작용

DeBERTa(Decoding-enhanced BERT with disentangled attention)는 BERT의 성능을 개선한 모델로, 특히 NER 과제에서 뛰어난 성능을 보인다.

• •외부 데이터와 대회 데이터를 결합한 2단계 훈련 파이프라인 구축
• •비PII 토큰 가중치 조절을 통한 모델 예측 편향성 개선
• •훈련 안정성을 확보하기 위해 Multi-sample Dropout 적용

F5 Score는 정밀도(Precision)와 재현율(Recall)의 가중 조화 평균으로, 이 대회에서는 재현율에 더 높은 가중치를 둔 지표이다.

• •10개 모델을 활용한 정교한 가중 투표 앙상블 수행
• •Optuna를 이용한 앙상블 임계값 및 가중치 최적화
• •다양한 훈련 설정의 모델을 혼합하여 일반화 성능 극대화

앙상블(Ensemble)은 여러 모델의 예측 결과를 결합하여 개별 모델보다 더 나은 성능을 얻는 기법이다.

• •정규표현식을 활용한 주소, 이름, 이메일 패턴 보정
• •후처리를 통한 리더보드 점수의 유의미한 상승 달성
• •최종 Private LB 0.96988로 경진대회 우승 확정

후처리(Post-processing)는 모델의 출력을 도메인 지식이나 규칙을 바탕으로 수정하여 최종 성능을 보정하는 단계이다.