Flexorch-audit: LLM 데이터셋을 위한 제로 의존성 PII 탐지 및 품질 평가 도구

섹션별 상세

데이터 품질 평가: 텍스트의 완성도, 노이즈 비율, 길이를 종합하여 A부터 D까지의 등급을 산정한다.

PII 탐지 및 마스킹: 8개국 이상의 국가별 PII 유형을 지원하며, redact, replace, token, hash 등 4가지 전략으로 민감 정보를 마스킹한다.

제로 의존성 설계: 외부 NLP 프레임워크나 네트워크 호출 없이 Python 표준 라이브러리만 사용하여 실행 환경 제약이 없다.

근거

Flexorch-audit은 외부 의존성 없이 Python 표준 라이브러리만으로 PII 탐지, 품질 등급 산정, 노이즈 감지를 수행한다. — README.md - Features section 출처

통합 지원: LangChain과 LlamaIndex를 위한 래퍼를 제공하여 데이터 로딩 파이프라인에 즉시 삽입할 수 있다.

python

from flexorch_audit import audit_batch
texts = [record["text"] for record in dataset]
batch = audit_batch(texts)

데이터셋 전체를 대상으로 배치 감사를 수행하는 예시

개인식별정보(PII): — 이름, 이메일, 주민번호 등 개인을 식별할 수 있는 정보로, LLM 학습이나 RAG 데이터셋 구축 시 보안 및 컴플라이언스 준수를 위해 반드시 제거하거나 마스킹해야 한다.
검색 증강 생성(RAG): — 외부 데이터를 검색하여 LLM에 컨텍스트로 제공하는 기술로, 데이터의 품질과 노이즈 여부가 모델의 답변 정확도에 직접적인 영향을 미친다.
마스킹/비식별화(Redaction): — 문서 내 민감한 정보를 삭제하거나 다른 값으로 대체하여 정보 유출을 방지하는 기술이다.

python

from flexorch_audit import audit, mask
text = open("contract.txt").read()
result = audit(text)
clean = mask(text, result["pii"], strategy="redact")

Flexorch-audit을 사용하여 텍스트를 감사하고 PII를 마스킹하는 예시