Criterion Leakage
기준 유출
질문에 포함된 정보만으로 평가 기준을 추론할 수 있는 현상입니다. 질문과 정답·평가 기준을 같은 문서 내용에서 만들면 모델이 연구 계획의 실제 품질을 높이지 않고 질문을 바꿔 쓰는 방식으로 보상을 얻을 수 있습니다. PaperGym은 문서의 서로 다른 구간에서 질문과 기준을 추출해 이를 줄입니다.
기준 유출
질문에 포함된 정보만으로 평가 기준을 추론할 수 있는 현상입니다. 질문과 정답·평가 기준을 같은 문서 내용에서 만들면 모델이 연구 계획의 실제 품질을 높이지 않고 질문을 바꿔 쓰는 방식으로 보상을 얻을 수 있습니다. PaperGym은 문서의 서로 다른 구간에서 질문과 기준을 추출해 이를 줄입니다.
