대조적 샘플링을 통한 LLM 환각 완화 방법론

작성자가 이전 게시물 삭제 후 재업로드한 프로젝트로, 적은 데이터로 효율적인 환각 완화가 가능하다는 점에 대해 긍정적인 관심을 받고 있다.

• 반복적인 환각이 발생하는 특정 패턴의 데이터만 선별하여 대조 학습을 적용하면 학습 효율을 극대화할 수 있다.
• DPO 적용이 어려운 저사양 환경에서 10%의 데이터만 사용하는 이 기법을 대안으로 고려할 수 있다.

Hallucination

— LLM이 사실과 다르거나 논리적으로 맞지 않는 정보를 그럴듯하게 생성하는 현상이다. 모델의 신뢰성을 저해하는 핵심 문제로, 이를 해결하기 위해 외부 지식 검색(RAG)이나 강화학습 기반의 정렬 기법이 주로 사용된다.

Contrastive Learning

— 데이터 간의 유사성과 차이점을 학습하여 모델이 정답과 오답을 더 명확히 구분하도록 만드는 기법이다. 이 글에서는 올바른 답변과 모델이 생성한 잘못된 답변(Counterfactual)을 대조하여 사실 관계 판단 능력을 높이는 데 활용됐다.

Out-of-Distribution (OOD)

— 모델이 학습 과정에서 보지 못한 새로운 유형이나 도메인의 데이터를 의미한다. OOD 설정에서의 성능 유지는 모델이 단순히 학습 데이터를 암기한 것이 아니라 일반화된 추론 능력을 갖췄음을 증명하는 중요한 지표이다.

Cross-Entropy (CE) Loss

— 모델의 예측 확률 분포와 실제 정답 분포 사이의 차이를 측정하는 손실 함수이다. 표준적인 SFT 학습에서 사용되지만, 모든 샘플에 대해 동일한 가중치로 업데이트를 수행하므로 특정 오류를 교정하는 데는 한계가 있을 수 있다.