정확도 94.2% 채용 모델의 우편번호 편향 차단

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

정확도 94.2%를 기록한 Logistic Regression 채용 모델이 실제로는 후보자 적합성이 아니라 우편번호에서 직접 만든 오염된 라벨과 지역 기반 선발 규칙을 재현했습니다. shap.LinearExplainer의 기여도에서 postcode가 3.5031로 technical_score -0.0007과 years_experience -0.0680을 압도해 이 지름길이 드러났습니다. 글은 ramen-mlflow-guard와 RamenGovernedModel을 사용해 SHAP evidence를 predict() 실행 전에 proxy-bias policy로 검사하고, 위반 요청에 GovernanceDeniedException을 발생시켜 모델 실행을 차단했습니다. 이 구조는 설명 결과를 단순 기록에 머물게 하지 않고 실행 경계와 정책 영수증으로 연결합니다.

실용적 조언

정확도 게이트를 단독으로 사용하지 말고 배포 전에 특징별 기여도와 라벨 생성 경로를 함께 점검해야 합니다. 특히 우편번호처럼 보호 속성의 대리 신호가 될 수 있는 특징은 높은 정확도를 얻더라도 별도 proxy-bias 정책의 검사 대상으로 지정해야 합니다. 글의 사례처럼 SHAP evidence를 추론 요청과 함께 거버넌스 wrapper에 전달하면 설명 결과가 실제 실행 허용 여부에 연결됩니다.
설명 결과를 기록하는 데 그치지 말고 모델 호출 직전에 정책 집행 지점을 배치해야 합니다. wrapper가 predict() 위에서 증거를 평가하고 위반 시 GovernanceDeniedException을 발생시키면 편향된 요청이 최종 예측으로 이어지는 경로를 차단할 수 있습니다. 정책 식별자에 결합된 Ed25519 receipt를 보관하면 어떤 정책이 요청을 허용하거나 거부했는지 사후 검증할 수 있습니다.

섹션별 상세

이 사례는 정확도만으로 채용 선별 모델을 검증하면 편향된 의사결정 규칙도 정상적인 모델처럼 배포될 수 있다는 점을 드러냅니다. Logistic Regression은 기술 평가 점수, 경력 연수, synthetic postcode indicator를 사용했고 검증 정확도 94.2%를 기록했습니다. 그러나 학습 라벨이 우편번호에서 직접 만들어졌기 때문에 높은 정확도는 후보자 적합성보다 과거의 지역 기반 선발 규칙을 충실히 재현한 결과였습니다.

shap.LinearExplainer를 적용하면 모델이 어떤 특징에 의존하는지 추론 단위로 확인할 수 있습니다. 계산된 기여도는 technical_score -0.0007, years_experience -0.0680, postcode 3.5031으로 우편번호의 영향이 압도적이었습니다. 따라서 특징별 기여도 검사는 정확도 지표만 통과한 모델이 proxy feature를 통해 편향을 재현하는지 찾는 보완 절차가 됩니다.

설명 가능성만으로는 문제가 발견된 뒤의 실행을 막을 수 없으므로, 글은 ramen-mlflow-guard의 L2 semantic execution boundary로 모델을 감쌌습니다. 애플리케이션은 feature payload와 SHAP evidence를 RamenGovernedModel에 함께 전달하고, wrapper는 내부 predict() 호출 전에 설정된 proxy-bias policy와 증거를 비교합니다. 정책 위반 요청에는 GovernanceDeniedException을 발생시켜 원래 estimator의 governed prediction 실행을 차단하고, remediation steering과 EU AI Act 같은 법적 기준, 정책에 묶인 로컬 검증 Ed25519 receipt를 반환합니다.

용어 해설

로지스틱 회귀(Logistic Regression): — 이진 분류 결과를 예측하는 통계·Machine Learning 모델입니다. 입력 특징에 가중치를 곱해 선형 점수를 계산하고, 이를 확률로 변환해 두 범주 중 하나를 선택합니다. 이 사례에서는 기술 평가 점수, 경력 연수, 우편번호를 입력으로 사용했습니다.
SHAP 특징 기여도(SHAP): — 각 입력 특징이 특정 예측 결과에 얼마나 기여했는지 계산하는 설명 기법입니다. 기준 예측과 비교해 특징별 영향의 방향과 크기를 분해하므로, 모델이 실제로 어떤 신호에 의존하는지 점검하는 데 쓰입니다.
대리 편향(Proxy Bias): — 민감한 속성을 직접 사용하지 않아도 우편번호처럼 그 속성과 강하게 연결된 특징이 대리 신호로 작동해 차별적 결정을 유도하는 현상입니다. 이 글에서는 우편번호가 후보자 적합성 대신 과거의 편향된 선발 규칙을 전달했습니다.
Ed25519 전자서명(Ed25519): — 공개키 암호를 이용해 데이터의 출처와 변경 여부를 검증하는 서명 방식입니다. 글의 실행 경계는 적용한 정책에 묶인 Ed25519 영수증을 생성해 어떤 규칙으로 요청이 처리됐는지 로컬에서 확인할 수 있게 했습니다.

코드 예제

text

technical\_score:    -0.0007
years\_experience:   -0.0680
postcode:            3.5031

shap.LinearExplainer가 제안된 추론에서 계산한 특징별 기여도입니다. 우편번호의 영향이 다른 두 특징보다 압도적으로 크게 나타나 모델의 지름길 의존을 드러냅니다.

언급된 도구

shap.LinearExplainer중립

Logistic Regression의 제안된 추론에서 특징별 기여도를 계산해 모델이 우편번호에 의존하는지 확인합니다.

ramen-mlflow-guard추천

SHAP evidence와 proxy-bias policy를 실행 시점에 검사하는 L2 semantic execution boundary를 제공합니다.

RamenGovernedModel추천

입력 특징과 설명 증거를 받아 정책 검사 후 내부 모델의 predict() 실행을 위임하거나 차단합니다.