대조적 샘플링을 통한 LLM 환각 완화 방법론

작성자가 이전 게시물 삭제 후 재업로드한 프로젝트로, 적은 데이터로 효율적인 환각 완화가 가능하다는 점에 대해 긍정적인 관심을 받고 있다.

• 반복적인 환각이 발생하는 특정 패턴의 데이터만 선별하여 대조 학습을 적용하면 학습 효율을 극대화할 수 있다.
• DPO 적용이 어려운 저사양 환경에서 10%의 데이터만 사용하는 이 기법을 대안으로 고려할 수 있다.

• 정답과 오답이 갈리는 첫 지점부터 대조 학습을 수행하여 모델이 잘못된 경로를 선택하지 않도록 유도한다.
• 전체 데이터의 10%만 사용하여 업데이트를 수행하므로 연산 자원을 크게 절약하면서도 사실성을 개선할 수 있다.
• 학습 데이터에 과적합되지 않고 OOD 데이터셋에서도 일관된 성능 향상을 보여 일반화 능력이 우수하다.