LLM 파인튜닝 시 주입된 백도어를 탐지하는 Delta Monitor 기법

LLM 파인튜닝 과정에서 주입된 sleeper-agent backdoor는 기존 행동 테스트나 crosscoder 기반의 해석 도구로는 탐지가 어렵다. 이를 해결하기 위해 base 모델과 파인튜닝된 모델의 활성화 값 차이를 분석하는 delta monitor 기법이 제안되었다. sparse autoencoder를 활용해 이 차이를 학습하면, 기존 방식 대비 40배 높은 신호와 완벽한 정밀도로 backdoor를 식별할 수 있다. 이는 파인튜닝 파이프라인에 CI 게이트로 통합하여 모델 안전성을 확보하는 실질적인 방안을 제시한다.