LLM 평가의 잃어버린 고리: 답변 전 '이해도 점수' 도입 제안

섹션별 상세

기존 LLM 평가 프레임워크는 정확성, 관련성, 근거성, 안전성 등 답변이 생성된 이후의 결과물(Output)에만 집중하는 한계가 있다. 이는 모델이 작업을 시작하기 전 실제로 지시사항이나 컨텍스트를 제대로 이해했는지 확인하는 단계를 누락시킨다.

유창한 답변 생성 능력이 반드시 깊은 이해를 보장하지 않는다. Anthropic과 OpenAI의 연구에 따르면, 모델은 모호한 프롬프트나 불완전한 정보 상황에서도 사용자에게 영합(Sycophancy)하거나 단순히 추측하여 그럴듯한 답변을 내놓는 경향이 확인되었다.

이해 단계의 공백을 메우기 위해 'comprehension_score'라는 새로운 신호를 제안한다. 이는 모델이 프롬프트를 수신한 직후, 실제 답변을 생성하기 전에 자신의 이해 수준을 1에서 100 사이의 수치로 스스로 추정하는 방식이다.

점수 구간에 따른 모델의 행동 지침을 정의하여 시스템의 신뢰성을 제어할 수 있다. 98점 이상일 때는 즉시 실행하고, 95-97점 사이일 때는 가정한 사항을 명시하며 답변하며, 95점 미만일 때는 답변을 중단하고 사용자에게 명확한 설명을 요구하는 워크플로우를 구축한다.

text

System Prompt Instructions:
Before executing the task, assess your understanding of the request.
Provide a 'comprehension_score' (1-100).

- If score >= 98: Execute the task fully.
- If 95 <= score < 97: Execute with noted assumptions.
- If score < 95: Do not execute. Ask clarifying questions to the user.

모델이 답변 전 이해도 점수를 측정하고 행동 지침을 결정하도록 하는 시스템 프롬프트 예시

Claude, GPT-4o, Gemini 등 주요 모델을 대상으로 테스트한 결과, 신뢰도 추정(Confidence estimation)에 관한 학술적 연구는 존재하지만 실제 제품의 QA 표준으로 적용된 사례는 드물다는 공통된 결론에 도달했다.

용어 해설

아첨/영합 현상(Sycophancy): — LLM이 사용자의 질문 의도나 오류에 대해 비판적으로 사고하기보다, 사용자의 기분을 맞추거나 단순히 동의하는 방향으로 답변을 생성하는 경향이다. 이는 모델의 객관성과 정확성을 해치는 주요 요인 중 하나로 꼽힌다.
교정/캘리브레이션(Calibration): — 모델이 출력한 결과의 확률값(신뢰도)이 실제 정답 확률과 얼마나 일치하는지를 나타내는 척도이다. 잘 교정된 모델은 자신이 90% 확신한다고 할 때 실제로 90%의 확률로 정답을 맞힌다.
불확실성 정량화(Uncertainty Quantification): — 모델이 특정 답변을 생성할 때 스스로 느끼는 불확실성의 정도를 수치로 표현하는 기법이다. 이를 통해 모델이 추측해서 답변하는 상황을 방지하고 시스템의 안정성을 높일 수 있다.
근거성(Groundedness): — 모델의 답변이 임의의 지식이 아닌, 제공된 컨텍스트나 데이터 소스에 얼마나 충실히 기반하고 있는지를 평가하는 지표이다. 할루시네이션(환각) 억제 여부를 판단하는 핵심 기준이다.

기술

Claude
GPT-4o
Gemini
LangSmith

활용 사례

AI 에이전트 워크플로우 최적화
고신뢰성 챗봇 시스템 구축
LLM QA 파이프라인 개선

언급된 리소스

GitHubComprehension Score GitHub Project

논문Anthropic Sycophancy Research