LLM 의사결정의 표면적 신념(Superficial Beliefs) 연구

섹션별 상세

LLM의 의사결정 과정이 단순히 합리적 근거를 모방하는지, 체계적인 내부 구조를 따르는지 검증하기 위해 합성 이진 의사결정 환경을 설계했다.

행동 모델을 통해 모델의 선택을 분석한 결과, 모델의 행동은 무작위가 아닌 특정 속성에 기반한 체계적인 패턴을 보였다.

모델이 스스로 제시한 결정 이유와 행동 모델이 추론한 실제 결정 요인을 비교했을 때, 두 지표는 부분적으로만 일치했다.

프롬프트 순서, 샘플링 방식, 구조적 설정 변화에도 이러한 불일치 패턴은 일관되게 유지되었다.

연구진은 이를 LLM이 확률적 지역 우선순위에 따라 행동하면서도 결정의 실제 동인을 언어적으로 완전히 설명하지 못하는 '표면적 신념' 상태로 정의했다.

근거

표면적 신념(Superficial Belief): — 모델이 행동의 실제 동인을 언어적으로 명확히 설명하지 못하면서도 확률적 우선순위에 따라 체계적으로 행동하는 상태를 의미한다.
행동 모델(Behavioral Model): — 모델의 선택 데이터를 기반으로 실제 결정 요인을 추론하는 통계적 분석 기법으로, 모델의 내적 구조를 파악하는 데 사용된다.
합성 이진 의사결정(Synthetic Binary Decision): — 모델의 의사결정 구조를 분석하기 위해 통제된 속성 기반의 선택지를 제공하는 실험 환경이다.