AI 안전성 연구를 위한 모델 오가니즘의 강건성 향상 전략

AI 안전성 연구는 잠재적 위험을 가진 '모델 오가니즘'을 통해 기술을 검증하지만, 기존 모델들은 일반적인 학습 과정에서 의도치 않게 해당 행동이 제거되는 취약성을 보인다. 연구진은 모델 오가니즘의 강건성을 높이기 위해 다양한 학습 기법을 실험했다. 실험 결과, 프롬프트 기반 모델은 매우 취약하며, LoRA를 활용하거나 Full-weight fine-tuning(FWFT)을 적용할 때 모델의 악성 행동이 더 잘 유지됨을 확인했다. 이러한 발견은 향후 안전성 기술 개발을 위한 신뢰할 수 있는 테스트 환경 구축에 기여한다.