simpleqa

SimpleQA는 단일 질문에 대해 외부 자료 검색을 통해 정답을 찾는 능력을 평가하는 벤치마크로, 질문별로 검색·추출 호출을 허용하여 검색 공급자와 모델의 상호작용 성능을 측정하는 데 사용된다. 이 벤치마크는 검색 기반 보강 기법이 얼마나 정확한 문서·정보를 찾아 모델의 답변 품질에 기여하는지를 평가하는 데 적합하다. 공개 점수는 모델이 검색 없이 답변했을 때의 기준 성능과 검색을 붙였을 때의 개선 폭을 비교하는 데 기준이 된다.