LLM 채용 편향의 상당 부분은 무작위 변동이었다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이력서 선별 LLM의 편향을 재검증한 실험에서 이유를 프롬프트에 이식하면 점수가 99.7%의 경우 그 방향으로 움직였지만, 자동차 색상 같은 무관한 입력도 인구통계학적 변경과 비슷한 점수 변화를 만들었다. 점수 위치 변경과 블라인드 지시는 변동성을 낮추지 못했고, Claude CLI의 숨은 시스템 프롬프트는 인구통계학적 신호의 88%에 해당하는 변화를 일으켰다. 이름과 경력 공백의 신호보다 모델의 원시 불안정성과 실행 래퍼 차이가 편향 측정 결과를 크게 좌우했다.

실용적 조언

채용용 LLM 평가에서는 인구통계학적 입력만 비교하지 말고 자동차 색상처럼 판단과 무관한 위약 입력을 함께 넣어 기본 변동성을 측정해야 한다.
모델명과 함께 CLI·API 래퍼, 시스템 프롬프트, 출력 스키마를 고정하고, 동일한 조건에서 반복 실행한 점수 분포를 비교해야 한다.
편향 효과를 산출할 때는 단일 점수 차이보다 무관한 입력에서 발생한 변동과 채용·불채용 판정 불일치를 먼저 확인해야 한다.

섹션별 상세

작성자는 이전 LLM 이력서 선별 연구에서 점수 차이의 45%를 편향으로 판정했지만, 댓글에서 방법론과 무작위 변동을 구분하지 않았다는 지적을 받았다. 이에 따라 사후 생성 추론, 스키마 순서, 위약 입력이라는 세 가지 반론을 각각 반복 실험으로 검증했다. 실험의 목적은 인구통계학적 편향과 모델 자체의 불안정성을 분리하는 데 있었다.

사후 생성 추론을 검증한 320회 실험에서는 긍정·부정 이유를 프롬프트에 이식하자 점수가 99.7%의 경우 이유가 가리키는 방향으로 평균 3.62포인트 움직였다. 이는 모델의 점수가 제시된 이유와 무관하지 않다는 결과지만, 초기 점수의 극심한 불안정성도 함께 드러냈다. 따라서 기존에 편향으로 분류한 45% 중 상당 부분은 실제 인구통계학적 효과가 아니라 무작위 잡음일 수 있다는 결론으로 이어졌다.

점수를 출력의 마지막에 배치하는 방식은 4,800회 실험에서 안정성에 영향을 주지 않았고, 오히려 채용·불채용 판정 불일치를 33%에서 54%로 높였다. 블라인드 프롬프트 지시도 분산을 낮추지 못해, 단순한 프롬프트 배열 변경만으로 결과를 안정화하기 어렵다는 결과가 나왔다. 이 결과는 출력 형식보다 입력과 모델 실행 전반의 변동성이 더 큰 요인일 수 있음을 시사한다.

위약 실험 4,165회에서는 자동차 색상처럼 채용 판단과 무관한 수정이 0.328포인트의 점수 변화를 일으켰고, 인구통계학적 수정은 0.362포인트였다. 모델은 이유에서 자동차를 전혀 인용하지 않았지만 “Silver Golf”라는 입력은 대학이나 이름을 바꾼 경우보다 큰 변화를 만들었다. 이름과 경력 공백에는 실제 신호가 남아 있었지만, 원시적인 점수 불안정성이 대부분의 인구통계학적 축을 압도했다.

실행 래퍼도 결과를 크게 바꿨으며, Claude를 CLI로 호출할 때 추가된 숨은 시스템 프롬프트가 0.247포인트의 점수 변화를 만들었다. 이 변화량은 인구통계학적 신호의 88%에 해당해, 같은 모델명만으로 서로 다른 벤치마크를 비교하기 어렵게 만든다. 따라서 채용 편향 평가에서는 모델뿐 아니라 호출 도구, 숨은 프롬프트, 무관한 입력에 대한 민감도까지 동일하게 통제해야 결과의 의미를 판단할 수 있다.

용어 해설

사후 생성 추론(Post-hoc Reasoning): — 모델이 점수를 먼저 산출한 뒤 그 결과에 맞춰 이유를 만들어내는 현상이다. 이유를 프롬프트에 다시 주입했을 때 점수가 이유의 방향으로 움직이는지 비교하면 설명과 점수의 인과적 관계를 시험할 수 있다.
스키마 순서(Schema Ordering): — 구조화된 출력에서 점수나 판정 항목이 프롬프트 안에 배치되는 순서다. 점수를 마지막에 두는 방식이 결과의 변동성을 줄이는지, 채용·불채용 판정의 일치율을 바꾸는지 실험으로 확인할 수 있다.
위약 대조(Placebo Control): — 실험 대상과 무관한 변경을 넣어 결과가 얼마나 흔들리는지 측정하는 통제 방법이다. 자동차 색상처럼 채용 판단과 관련 없는 입력이 인구통계학적 변경과 비슷한 크기의 점수 변화를 일으키면 모델의 불안정성을 분리해 볼 수 있다.
프롬프트 래퍼(Prompt Wrapper): — 같은 모델을 호출하더라도 CLI나 API 도구가 내부 시스템 프롬프트와 실행 설정을 덧붙이는 실행 계층이다. 이 숨은 입력이 점수를 바꾸면 서로 다른 래퍼에서 얻은 벤치마크 결과를 직접 비교하기 어려워진다.