참조 모델 없이 LLM의 숨겨진 행동과 RLHF 편향을 탐지하는 방법론

실용적 조언

모델의 편향성을 테스트할 때 논쟁적 주제에 대해 양쪽 입장을 모두 서술하게 하고 그 논리의 강도를 비교하는 방식을 도입하라.

섹션별 상세

LoRA 파인튜닝이 모델의 후반 레이어를 더 많이 수정한다는 특성을 활용하여 참조 모델 없는 탐지 시스템을 구축했다. 초기 레이어(L12)의 활성화 값으로 후반 레이어(L60)의 값을 예측하는 Ridge 회귀 모델을 학습시킨 뒤, 실제 값과의 차이인 잔차(Residual)를 분석하여 주입된 행동을 식별한다. 실험 결과 hardcode_test_cases에서 0.889 AUROC를 기록하며 참조 모델을 사용하는 기존 방식(0.800)보다 높은 성능을 보였다.

PCA나 잔차 노름(Residual Norms) 같은 비지도 학습 기반의 주제 탐지 방식은 실전에서 한계를 드러냈다. PCA는 주제별 편향이 아닌 모델의 전반적인 추론 스타일을 포착하는 데 그쳤고, 잔차 노름은 단순히 창의적인 글쓰기 프롬프트에만 반응하는 경향을 보였다. 대신 모델에게 논쟁적인 주제의 양측 입장을 모두 옹호하게 한 뒤 그 논리의 균형을 점수화하는 방식이 특정 주제에 대한 편향을 찾는 데 가장 효과적이었다.

제안된 '토픽 퍼널(Topic Funnel)' 방식은 의도적으로 주입된 LoRA 행동뿐만 아니라 베이스 모델에 내재된 RLHF 편향까지 탐지해냈다. Llama 70B 모델은 성별 및 문화적 정체성 관련 주제에서 진보적인 입장을 더 강력하게 옹호하는 경향이 5/5 점수로 나타났다. 이를 해결하기 위해 프로브 특이성(Probe Specificity) 필터를 도입하여, 특정 주제에만 국한된 주입 행동과 여러 주제에 걸쳐 나타나는 광범위한 RLHF 편향을 수치적으로 분리했다.

용어 해설

오딧벤치(AuditBench): — Anthropic에서 개발한 모델 행동 감사용 벤치마크로, 모델 내부에 특정 행동을 주입한 뒤 이를 탐지할 수 있는지 평가하는 도구이다. 모델의 안전성과 신뢰성을 검증하는 데 사용된다.
릿지 회귀(Ridge Regression): — L2 규제를 사용하여 모델의 복잡도를 줄이고 과적합을 방지하는 선형 회귀 기법이다. 이 글에서는 레이어 간 활성화 값을 예측하여 이상치를 찾는 도구로 활용됐다.
ROC 곡선 아래 면적(AUROC): — 이진 분류 모델의 성능을 나타내는 지표로, 1에 가까울수록 탐지 성능이 우수함을 의미한다. 모델이 주입된 행동을 얼마나 정확히 식별하는지 측정하는 척도로 쓰였다.
인간 피드백 기반 강화학습(RLHF): — 인간의 선호도를 반영하여 모델을 정렬하는 기법이다. 이 과정에서 모델에 특정 사회적 가치관이나 편향이 내재될 수 있으며, 주입된 악성 행동과 구분해야 할 대상이 된다.

언급된 도구

AuditBench중립

모델 행동 감사 및 벤치마킹

Llama 3.3 70B중립

테스트 및 분석 대상 언어 모델

언급된 리소스

GitHubReference-free Behavior Discovery GitHub

문서Full Writeup on Substack