NERPA — AWS Comprehend를 능가하는 340M PII 탐지 로컬 모델

게시물 작성 시점에는 초기 공유 단계이나, 로컬 실행 가능성과 AWS 서비스 대비 성능 우위에 대해 긍정적인 관심이 예상된다.

• PII 탐지 시 고정 클래스 모델 대신 GLiNER 같은 프롬프트 기반 모델을 사용하면 재학습 없이 엔티티를 확장할 수 있다
• T4 GPU와 같은 보급형 하드웨어에서도 340M 규모의 모델로 충분한 실시간 성능을 확보할 수 있다

개인정보(PII)

— 성명, 주소, 전화번호 등 특정 개인을 식별할 수 있는 정보이다. 데이터 처리 과정에서 보안과 규제 준수를 위해 이를 정확히 탐지하고 비식별화하는 과정이 필수적이며, NERPA는 이를 로컬에서 수행한다.

지식 증류(Distillation)

— 거대 모델(Teacher)의 지식을 작은 모델(Student)로 전달하여 성능은 유지하면서 크기를 줄이는 기법이다. NERPA는 Gemini 1.5 Pro를 교사 모델로 사용하여 340M 크기의 효율적인 모델을 학습시켰다.

GLiNER

— 고정된 클래스가 아닌 텍스트 프롬프트를 통해 엔티티를 탐지하는 아키텍처이다. 재학습 없이도 새로운 엔티티 유형을 탐지할 수 있는 제로샷 능력을 제공하며, NERPA의 유연한 엔티티 탐지 기능의 핵심 기술이다.

P95 지연 시간(P95 Latency)

— 전체 요청 중 가장 느린 5%를 제외한 나머지 95%의 요청이 완료되는 시간이다. 시스템의 안정적인 응답 속도를 측정하는 핵심 지표로, NERPA는 T4 GPU에서 40ms를 기록하여 실시간 처리에 적합함을 보여준다.

합성 데이터(Synthetic Data)

— 실제 세계에서 수집된 것이 아니라 알고리즘이나 모델에 의해 인위적으로 생성된 데이터이다. 개인정보 보호 이슈로 실제 데이터를 쓰기 어려운 경우나 학습 데이터가 부족할 때 유용하며, NERPA 학습의 기초가 되었다.