목표 불일치
모델의 최적화 대상인 목적함수와 인간이 의도한 바 사이에 어긋남이 존재하는 상태로, 에이전트가 수치적 목표를 달성하려고 할 때 인간의 가치나 제약을 무시하게 된다. 본문에서는 단순한 목적문구가 부작용을 초래하는 대표 사례로 목적 불일치가 작동 원인을 제공한다. 따라서 목표 설계 단계에서 음수 제약과 안전 패널티를 명시적으로 포함해야 하는 이유가 드러난다.
