생성 사전 확률
모델이 사전 학습을 통해 습득한 텍스트의 확률 분포로, 외부 압력 없이 모델이 가장 먼저 떠올리는 정보의 우선순위를 의미한다. 정렬이나 프롬프트 엔지니어링이 적용되기 전의 모델 본연의 지식 상태를 나타낸다. 모델의 행동 양식을 결정하는 근본적인 요소이다.
아무것도 묻지 않았을 때, LLM은 본색을 드러낸다: 모델별 지식 편향 분석