대리 목표 해킹
differentiable router가 PPO surrogate 내부에서 수치적으로 유리한 헤드를 선택하도록 직접 기여하는 현상이어서, 물리적 제어와의 개선과 매개 변수의 변화가 일치하지 않는다.