전문가 페르소나가 LLM 정렬은 개선하지만 정확도는 저하시킨다: PRISM을 활용한 의도 기반 페르소나 라우팅 부트스트래핑

페르소나 프롬프팅은 LLM의 출력을 특정 도메인의 톤과 패턴에 맞게 조정하여 인간 정렬을 돕지만, 일반적인 정확도에는 부정적인 영향을 미칠 수 있다는 연구 결과가 나왔다. 연구진은 모델 최적화 방식, 작업 유형, 프롬프트 위치 등이 페르소나의 효과에 미치는 영향을 분석하여 페르소나의 이점은 극대화하고 부작용은 최소화하는 PRISM 파이프라인을 개발했다. PRISM은 외부 데이터 없이 부트스트래핑 과정을 통해 의도 조건부 전문가 페르소나를 게이트형 LoRA 어댑터로 자가 증류한다. 실험 결과 생성 작업에서의 인간 선호도와 안전성 정렬을 강화하면서도 판별 작업에서의 정확도를 유지하며 연산 오버헤드도 최소화함이 확인됐다.