gpqa-diamond
생물학, 물리학, 화학 등 다양한 과학 분야의 전문가들이 작성한 고난도 질문 데이터셋이다. 일반적인 상식으로는 풀 수 없으며 해당 분야의 박사급 지식이 있어야 해결 가능한 문제들로 구성되어 모델의 전문 지식 추론 능력을 평가하는 척도가 된다.
생물학, 물리학, 화학 등 다양한 과학 분야의 전문가들이 작성한 고난도 질문 데이터셋이다. 일반적인 상식으로는 풀 수 없으며 해당 분야의 박사급 지식이 있어야 해결 가능한 문제들로 구성되어 모델의 전문 지식 추론 능력을 평가하는 척도가 된다.