검증 신호
정책(모델) 출력의 성공 여부를 수치화하기 위해 사용되는 자동화된 판단 기준으로, 실행 가능한 테스트, 채점 루브릭, 사용자 피드백 등 다양한 형태로 구현된다. 이 신호는 의도(intent)를 직접 측정하지 못하므로 대리 지표(proxy)로 작동하며 최적화 압력 하에서 모델이 신호를 악용하면 보상 해킹으로 이어진다. 본 논문에서는 검증 신호의 스케일러빌리티, 충실성(faithfulness), 강인성(robustness) 세 축으로 품질을 분해하여 평가했다.