LLM 환각은 훈련 데이터의 네거티브 예시 결손에서 비롯된다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 글은 LLM 환각의 원인을 훈련 데이터 내 네거티브 예시의 결손과 연결하고 있다. 환각은 부정적 신호의 부재로 모델이 그럴듯하지만 사실이 아닌 출력을 선호하게 되는 메커니즘과 관련이 있다. 대응책으로 하드 네거티브, null 출력 사례, 선호도 페어의 세 가지 네거티브 유형을 포함하는 데이터 설계 전략이 중심이며 이러한 전략은 학습 단계에서 부정적 신호를 명시적으로 제공해 잘못된 응답의 빈도를 낮추는 것을 목표로 한다. 실제 적용에서는 네거티브 샘플의 선정 기준과 다양성 확보가 중요하다고 덧붙이고 있다.

섹션별 상세

LLM 환각의 근원은 훈련 데이터에서 부정적(네거티브) 사례가 결손되어 발생하는 현상으로 연결된다. 네거티브 사례가 부족하면 모델은 잘못된 출력을 억제하는 방향의 학습 신호를 받지 못하고, 언어적 타당성이 높은 허구적 정보를 선호하도록 최적화될 가능성이 커진다. 원문은 이러한 인과 관계를 훈련 데이터의 네거티브 결손에서 찾는다고 밝히며 이는 데이터 수집 단계에서 부정 사례를 체계적으로 포함시켜야 할 필요성을 시사한다.

근거

LLM hallucinations trace to missing negative examples in training data. — 도입부 첫 문장

문제 해결을 위해 세 가지 유형의 네거티브 설계가 핵심으로 제시되어 있으며 각 유형은 서로 다른 방식으로 모델의 오류 출력을 억제한다. 하드 네거티브는 정답과 유사하지만 오류인 사례를 포함해 모델이 근접한 오답을 판별할 수 있는 대조 신호를 제공하고 null 출력 사례는 특정 입력에서 무응답이나 '모름'을 출력하도록 라벨링하여 허구 출력을 억제하는 학습 신호를 만든다. 선호도 페어는 올바른 응답이 부적절한 응답보다 높은 순위를 갖도록 비교 학습을 통해 모델의 출력 우선순위를 조정하며 이들 기법은 데이터 설계 관점에서 상호보완적인 역할을 한다.

용어 해설

Hard Negative: — 정답과 문맥상 유사하지만 오류인 예시를 학습 데이터에 포함시키는 기법으로, 입력과 정답의 경계 근처에 있는 오답을 모델이 판별하도록 강한 대조 신호를 제공하여 잘못된 일반화를 줄이는 역할을 한다.
Null Output: — 모델이 특정 입력에 대해 응답을 하지 않거나 '모름'과 같은 무출력 레이블을 학습하도록 만드는 사례 유형으로, 모델이 불확실한 상황에서 허구의 응답을 생성하는 것을 억제하는 방향으로 학습 신호를 제공한다.
Preference Pair: — 두 개 이상의 모델 출력을 상대적으로 비교해 올바른 출력이 더 높은 순위를 갖도록 하는 데이터 쌍으로, 순위 기반 손실이나 정렬 학습에 사용되어 잘못된 응답보다 바람직한 응답을 우선 학습하게 만든다.
Negative Sampling: — 학습에서 긍정적 사례와 함께 부정적 사례를 의도적으로 선택해 포함시키는 절차로, 부정적 샘플 선정 기준과 다양성이 모델의 오류 억제 성능을 결정하는 핵심 요소로 작용한다.