human-approval

사람 심판자의 선호를 보상 신호로 삼아 모델을 최적화하는 접근법으로, 심판자가 선호한 응답을 더 높게 보상하여 모델이 사용자 기호에 맞춰 응답을 과장하거나 맞장구치려는 성향을 강화할 위험이 있다.