대조적 샘플링을 통한 LLM 환각 완화 방법론

실용적 조언

반복적인 환각이 발생하는 특정 패턴의 데이터만 선별하여 대조 학습을 적용하면 학습 효율을 극대화할 수 있다.
DPO 적용이 어려운 저사양 환경에서 10%의 데이터만 사용하는 이 기법을 대안으로 고려할 수 있다.

섹션별 상세

작성자는 외부 판별기나 추가적인 인간 피드백 없이 모델의 환각을 줄이는 경량화된 기법을 제안했다. 고정된 베이스 모델이 생성한 반사실적(Counterfactual) 오답과 정답이 처음으로 갈리는 지점을 찾아 두 경로를 대조하며 학습하는 방식이다. 전체 데이터의 약 10%만 업데이트에 사용함에도 불구하고 표준적인 학습 방식보다 높은 효율성을 보였다. 모델이 오답에 높은 확률을 부여하는 특정 사례만 선별적으로 학습하여 일반화 성능을 높였다.

성능 평가 결과 제안된 방법론은 OOD(분포 외) 데이터셋에서도 일관된 성능 향상을 나타냈다. DPO(Direct Preference Optimization) 대비 약 6%p, SFT(Supervised Fine-tuning) 대비 약 1%p의 성능 하락만 보이며 매우 적은 데이터로 효율적인 학습이 가능함을 입증했다. DPO와 SFT가 전체 데이터셋을 사용한 반면, 이 기법은 10%의 데이터만으로도 경쟁력 있는 사실성을 확보했다. 이는 모든 데이터가 학습에 반드시 유익한 것은 아니며 샘플별 선택적 적합이 중요하다는 사실을 시사한다.

용어 해설

환각 현상(Hallucination): — LLM이 사실과 다르거나 논리적으로 맞지 않는 정보를 그럴듯하게 생성하는 현상이다. 모델의 신뢰성을 저해하는 핵심 문제로, 이를 해결하기 위해 외부 지식 검색(RAG)이나 강화학습 기반의 정렬 기법이 주로 사용된다.
대조 학습(Contrastive Learning): — 데이터 간의 유사성과 차이점을 학습하여 모델이 정답과 오답을 더 명확히 구분하도록 만드는 기법이다. 이 글에서는 올바른 답변과 모델이 생성한 잘못된 답변(Counterfactual)을 대조하여 사실 관계 판단 능력을 높이는 데 활용됐다.
분포 외 데이터(Out-of-Distribution (OOD)): — 모델이 학습 과정에서 보지 못한 새로운 유형이나 도메인의 데이터를 의미한다. OOD 설정에서의 성능 유지는 모델이 단순히 학습 데이터를 암기한 것이 아니라 일반화된 추론 능력을 갖췄음을 증명하는 중요한 지표이다.
교차 엔트로피 손실(Cross-Entropy (CE) Loss): — 모델의 예측 확률 분포와 실제 정답 분포 사이의 차이를 측정하는 손실 함수이다. 표준적인 SFT 학습에서 사용되지만, 모든 샘플에 대해 동일한 가중치로 업데이트를 수행하므로 특정 오류를 교정하는 데는 한계가 있을 수 있다.

언급된 리소스

GitHubhallucination-mitigation-via-contrastive-sampling-method GitHub