MIT 연구진, LLM 환각 식별을 위한 새로운 불확실성 측정 지표 개발

섹션별 상세

기존의 불확실성 측정 방식은 주로 모델의 '우연적 불확실성(Aleatoric Uncertainty)'을 측정하는 자기 일관성 기법에 의존한다. 이는 동일한 질문을 반복했을 때 모델이 얼마나 일정한 답을 내놓는지를 확인하는 방식이지만, 모델이 틀린 정보를 사실로 굳게 믿고 있을 때는 무용지물이다. 연구진은 이러한 '확신에 찬 오답'이 의료나 금융 같은 고위험 분야에서 치명적인 결과를 초래할 수 있다고 경고한다.

데이터의 흐름이 체크, 엑스, 물음표 아이콘으로 수렴되는 과정을 보여주는 시각 자료이다. — Diagram이 이미지는 LLM의 응답을 분석하여 신뢰할 수 있는 결과(체크), 명백한 오류(엑스), 혹은 판단 유보(물음표) 상태로 분류하는 불확실성 측정의 개념을 설명한다. 연구진이 개발한 새로운 지표가 모델의 답변을 어떻게 필터링하여 신뢰성을 평가하는지 시각적으로 나타낸다.

연구진은 모델의 구조적 한계를 파악하기 위해 '인식적 불확실성(Epistemic Uncertainty)'을 측정하는 새로운 접근법을 도입했다. 이는 타겟 모델의 답변을 서로 다른 데이터로 학습된 타사 모델(예: ChatGPT, Claude, Gemini)의 답변과 비교하여 의미론적 유사성을 측정하는 방식이다. 서로 다른 배경을 가진 모델들이 특정 질문에 대해 서로 다른 답을 내놓는다면, 이는 해당 질문에 대한 불확실성이 높음을 의미한다.

제안된 '전체 불확실성(Total Uncertainty, TU)' 지표는 우연적 불확실성과 인식적 불확실성을 합산하여 산출된다. 연구진은 질문 답변, 요약, 번역, 수학적 추론 등 10가지 실제 과제에서 TU 지표를 테스트했으며, 모든 항목에서 단일 지표보다 우수한 성능을 확인했다. 특히 TU는 모델이 환각 현상을 일으키는 상황을 훨씬 더 민감하게 포착하여 사용자에게 경고를 보낼 수 있다.

실험 과정에서 연구진은 복잡한 앙상블 기법보다 서로 다른 회사에서 개발한 모델들을 비교하는 단순한 방식이 가장 효과적임을 발견했다. 이는 각 개발사마다 학습 데이터와 최적화 방식이 다르기 때문에, 특정 모델이 가진 고유한 편향을 상쇄하는 데 유리하기 때문이다. 또한 이 방식은 기존의 반복 쿼리 방식보다 적은 횟수의 질문으로도 높은 정확도의 불확실성 측정이 가능해 계산 효율성 면에서도 이점을 가진다.

용어 해설

우연적 불확실성(Aleatoric Uncertainty): — 데이터 자체에 내재된 무작위성으로 인해 발생하는 불확실성이다. LLM에서는 동일한 질문에 대해 모델이 매번 다른 답변을 생성하는 정도로 측정하며, 모델이 내부적으로 얼마나 확신을 가지고 있는지를 나타내는 지표로 활용된다.
인식적 불확실성(Epistemic Uncertainty): — 모델의 지식 부족이나 구조적 한계로 인해 발생하는 불확실성이다. 특정 모델이 정답에서 얼마나 벗어나 있는지를 측정하며, 다른 구조를 가진 여러 모델의 답변을 비교함으로써 단일 모델이 가진 '확신에 찬 오답'을 찾아내는 데 중요하다.
자기 일관성(Self-consistency): — 하나의 언어 모델에 동일한 질문을 여러 번 던져 답변의 일관성을 확인하는 기법이다. 답변들이 서로 일치할수록 모델의 확신도가 높다고 판단하지만, 모델이 일관되게 틀린 답을 내놓는 경우에는 오류를 잡아내지 못한다는 단점이 있다.
환각(Hallucination): — 인공지능 모델이 사실과 다른 정보를 마치 진실인 것처럼 자신 있게 생성해내는 현상이다. 모델의 학습 데이터 부족이나 구조적 한계로 인해 발생하며, 이를 정확히 식별하고 사용자에게 알리는 것은 AI의 신뢰성을 확보하는 데 있어 가장 핵심적인 과제 중 하나이다.
의미론적 유사성(Semantic Similarity): — 두 문장이나 단어가 형태는 다르더라도 의미상 얼마나 유사한지를 측정하는 지표이다. 불확실성 측정 시 단순히 텍스트가 일치하는지를 보는 대신, 서로 다른 모델의 답변이 같은 의미를 담고 있는지를 파악함으로써 보다 정밀한 일관성 검사를 가능하게 한다.

기술

LLM
Uncertainty Quantification
Ensemble Learning

활용 사례

Hallucination Detection
High-stakes Decision Making
Model Reliability Assessment

MIT 연구진, LLM 환각 식별을 위한 새로운 불확실성 측정 지표 개발

섹션별 상세

용어 해설

기술

활용 사례

관련 토론

댓글

관련 기사

LLM 판정기 신뢰도 추정 방법 비교: 8개 블랙박스 방식과 Modaic 화이트박스 프로브의 벤치마크

AI 에이전트의 환각 현상 원인과 해결을 위한 설계 전략

LLM 환각은 훈련 데이터의 네거티브 예시 결손에서 비롯된다

관련 토론

댓글

관련 기사

LLM 판정기 신뢰도 추정 방법 비교: 8개 블랙박스 방식과 Modaic 화이트박스 프로브의 벤치마크

AI 에이전트의 환각 현상 원인과 해결을 위한 설계 전략

LLM 환각은 훈련 데이터의 네거티브 예시 결손에서 비롯된다