Qwen 3.5 2B 모델의 거부 메커니즘을 제거하는 새로운 'Abliteration' 기법 및 모델 공개

커뮤니티는 매우 낮은 KL 발산 수치와 거부 반응 제거 후 드러난 모델의 지식 공백 분석에 대해 높은 관심을 보였다. 특히 Qwen 모델의 학습 데이터 구성을 파악할 수 있다는 점이 흥미로운 연구 주제로 받아들여졌다.

• 모델의 거부 반응을 제거할 때 단순히 답변을 얻는 것뿐만 아니라 모델의 실제 지식 한계를 파악하는 도구로 활용할 수 있다.
• Qwen 모델 사용 시 특정 민감 주제에 대해 할루시네이션이 발생할 가능성이 높으므로 거부 메커니즘 제거 후의 출력물을 비판적으로 검토해야 한다.

어블리터레이션(Abliteration)

— LLM의 가중치를 수정하여 특정 행동이나 거부 반응을 억제하는 기술이다. 모델의 내부 활성화 벡터를 분석하여 거절과 관련된 방향을 찾아내고 이를 상쇄함으로써 모델이 제한 없이 답변하도록 유도한다. 이는 모델의 유용성을 높이는 동시에 안전 가드레일을 우회하는 연구에 중요하게 활용된다.

쿨백-라이블러 발산(KL Divergence)

— 두 확률 분포 간의 정보 손실량을 측정하는 통계적 지표이다. LLM 분야에서는 원본 모델과 튜닝된 모델의 출력 분포 차이를 비교하는 데 사용되며, 수치가 낮을수록 모델의 원래 지능과 특성이 잘 보존되었음을 의미한다. 0.0079와 같은 매우 낮은 수치는 원본 성능이 거의 완벽하게 유지됨을 나타낸다.

환각 현상(Hallucination)

— 인공지능 모델이 학습 데이터에 없는 내용을 사실처럼 지어내어 답변하는 현상이다. 특히 거부 메커니즘이 제거된 모델에서 학습 데이터의 공백이 있을 때, 모델은 모른다고 답하는 대신 그럴듯한 거짓 정보를 생성하는 경향이 강해진다. 이는 모델의 신뢰성을 판단하는 핵심 지표이다.