환각은 신뢰를 저해한다; 메타인지가 나아갈 길이다

LLM의 지식 확장은 한계에 다다르고 있으며, 단순히 더 많은 사실을 학습시키는 것보다 자신이 무엇을 모르는지 아는 메타인지 능력이 신뢰성 확보의 핵심이다. 이 논문은 환각을 단순한 오류가 아닌 확신에 찬 오류로 재정의하고, 모델의 내부 확신도와 언어적 표현을 일치시키는 충실한 불확실성 개념을 제시하여 에이전트 시스템의 통제력을 높이는 방향을 제시한다.

기존의 LLM 학습은 더 많은 데이터를 주입하여 지식의 경계를 넓히는 데 집중했다. 하지만 Transformer 기반 모델은 자신이 학습한 것과 학습하지 않은 것을 구분하는 변별력이 근본적으로 부족하다. Softmax 출력값 등을 통해 계산되는 확신도는 전체적인 정확도와는 일치할 수 있어도(Calibration), 특정 답변이 맞았는지 틀렸는지를 칼같이 나누는 능력(Discrimination)은 낮다.

이러한 변별력의 한계 때문에 환각을 0으로 만들려고 시도하면 모델은 조금이라도 불확실한 모든 답변을 거부하게 된다. 이는 맞출 수 있는 문제까지 포기하게 만드는 유틸리티 세금을 발생시킨다. 논문은 이 딜레마를 해결하기 위해 모델이 내부적으로 느끼는 불안함(Intrinsic Uncertainty)을 사용자에게 언어적으로 솔직하게 고백(Linguistic Uncertainty)하게 만드는 전략을 취한다.

결과적으로 모델은 틀릴 가능성이 있는 정보를 제공하면서도 적절한 완곡어구(Hedge)를 사용하여 사용자의 오해를 방지한다. 이는 지식의 양을 늘리는 것과는 별개로, 현재 가진 지식의 한계를 정확히 인지하고 행동하는 메타인지 능력을 강화하여 시스템의 전체적인 신뢰도를 높이는 방식이다.

논문은 환각 문제를 해결하기 위한 프레임워크로 Faithful Uncertainty를 정의하고 이를 측정하기 위한 수학적 지표를 제시한다. 먼저 본질적 확신도(Intrinsic Confidence)를 측정하기 위해 동일한 질문에 대해 반복 샘플링을 수행한다. [질문 Q에 대해 k개의 답변 A_i를 생성하고] → [각 답변이 후보 답변 A와 모순되는지 확인하여] → [1에서 모순 비율을 뺀 값을 계산해] → [해당 답변에 대한 모델의 내부적 확신도로 정의한다].

언어적 불확실성(Linguistic Uncertainty)은 모델이 답변 내에서 사용하는 완곡어구의 결정성(Decisiveness)으로 측정한다. [모델의 답변 R을 입력으로] → [LLM-as-a-judge를 통해 해당 답변이 얼마나 확신에 차 있는지 0~1 사이의 점수를 매겨] → [언어적으로 표현된 확신도 값을 얻는다].

최종적으로 충실도(Faithfulness)는 이 두 값의 일치 여부로 결정된다. [개별 답변마다 측정된 언어적 확신도와 내부적 확신도의 차이 절대값을 계산하고] → [전체 답변에 대해 평균을 내어 1에서 뺀다] → [이 값이 1에 가까울수록 모델은 자신의 상태를 정직하게 말하고 있음을 의미한다].

SimpleQA Verified 데이터셋을 활용한 실험 결과, 현재의 최첨단 모델들은 변별력 격차(Discriminative Gap)로 인해 심각한 성능 한계에 직면해 있음이 확인됐다. 대부분의 모델은 답변 거부율이 낮을 때 환각률이 높고, 환각을 줄이기 위해 거부율을 높이면 정답률(Utility)이 급격히 하락하는 우하향 곡선을 그린다. 예를 들어 시뮬레이션 결과 AUROC 0.71 수준의 모델에서 환각률을 25%에서 5%로 낮추려면 유효한 답변의 52%를 포기해야 하는 것으로 나타났다.

또한 기존의 정렬(Alignment) 기술이 오히려 모델을 과잉 확신하게 만들어 메타인지 능력을 저해한다는 점을 발견했다. SFT 데이터셋은 대개 확정적인 답변만을 포함하고 있어 모델이 모른다고 말하는 법을 잊게 만든다. 실험 데이터에 따르면 현재 모델들의 cMFG(Conditional Mean Faithful Generation) 점수는 0.5~0.7 수준에 머물러 있으며, 이는 모델의 언어적 표현이 내부 확신도와 매우 약하게 연결되어 있음을 시사한다.

논문은 환각 문제를 해결하기 위한 연구 커뮤니티의 방향 전환을 촉구하며 몇 가지 기술적 과제를 제시한다. 첫째는 부트스트래핑 역설(Bootstrapping Paradox)로, 정적인 SFT 데이터로는 모델의 가변적인 지식 경계를 학습시키기 어렵다는 점이다. 둘째는 신호 보존(Signal Preservation) 문제로, RLHF 과정에서 발생하는 모드 탐색(Mode-seeking) 동작이 사전 학습 단계의 정교한 불확실성 신호를 파괴하는 현상을 지적한다.

또한 언어적 정밀도를 위해 확신도 귀인(Confidence Attribution)이 필요함을 강조한다. 모델이 불확실해하는 이유가 질문의 모호성(Aleatoric) 때문인지, 실제 지식 부족(Epistemic) 때문인지 구분하여 서로 다른 완곡어구를 사용해야 한다. 마지막으로 에이전트 평가 시 최종 정답 여부뿐만 아니라 도구 사용의 효율성과 정보 통합의 논리성을 평가하는 프로세스 중심 제어(Process-based control) 평가 체계로의 전환을 제안한다.