NSF-SCIFY: NSF Awards 데이터베이스에서 과학적 주장 추출

대규모 과학 주장 데이터셋은 주장 검증, 발견 추적, 메타과학 연구를 가능하게 한다. Grant abstracts를 새로운 소스로 활용해 기존의 작은 데이터셋 중심 연구의 한계를 넘어선다.

배경: NSF awards 초록은 검증 가능한 초기 주장을 담고 있으며, 전통적 문헌 기반 데이터와 차별화된 특성을 가진다. 원리: 제로샷 프롬프팅으로 Claims와 Investigation Proposals를 함께 추출하고, 추출 품질을 높이기 위해 정밀한 소스 텍스트와의 연계를 유지한다. 중요성: 대규모, 다학제적 커버리지를 통해 주장 검증 시스템의 데이터 신호를 확장하고, 이후의 사실 확인 및 메타 과학 연구에 새로운 벤치마크를 제공한다.

데이터 수집: NSF Awards 데이터베이스를 XML로 다운로드해 1970년부터 2024년까지의 Awards를 파싱하고 NSF-SCIFY를 구성한다(412,155개 파싱 가능 awards). MATSCI 서브셋은 16,042 awards를 포함한다. 데이터 처리: 각 레코드는 Award ID, 제목, 연도, Directorate, 기술/비기술 초록, 주장의 목록, 조사 제안, 연결 Publications를 포함한다. 주석 및 제로샷 추출: Anthropic Claude-3.54를 사용해 두 유형의 진술(Claims, Investigation Proposals)을 식별하는 JSON 객체를 반환하도록 프롬프트를 구성한다. 온도는 0으로 고정한다. 프롬프트 다변형을 실험해 두 유형의 추출을 함께 수행하는 것이 관련성 유지에 유리함을 확인했다. 평가 설계: 120개 Awards를 수작업으로 검증하고, GPT-4o-mini를 활용해 Pairwise 판단을 수행하여 Precision/Recall/F1를 계산한다. NSF-SCIFY-20K에 대해 7B 모델 기반 미세조정의 효과를 추가로 확인했다.

Task 1 비기술 초록 생성: 미세조정된 Mistral-7B-instruct-v0.3은 BERTScore-F1 0.8561, ROUGE-L-sum 0.2166 등에서 우수한 성능을 보임. Task 2 주장 추출: 미세조정 Mistral의 Precision 0.7450, Recall 0.7098, F1 0.7097로 개선이 크며 Qwen도 비슷한 추세. Task 3 조사 제안 추출: 미세조정 Mistral의 Precision 0.7351, Recall 0.7539, F1 0.7261이며 Qwen도 유사한 개선을 보임. 이러한 결과는 데이터의 질과 미세조정의 효과를 뚜렷이 입증한다.

데이터 소스 및 구성: NSF Awards XML에서 1970-2024를 포괄하며 412,155개의 parseable award를 확보했다. 전처리 이후, 16,042 Awards(MATSCI), 16K awards에 대한 більш 작은 샘플을 생성했다. 주된 기술은 Claude-3.54의 제로샷 프롬프팅으로 Claims/Investigation Proposals를 JSON 형식으로 추출하는 방법이다. 평가 단계에서 인간 주석 및 LLM 기반 판단을 활용해 정밀도/재현율/F1를 계산했고, 20K NSF-SCIFY-20K에서도 미세조정 효과를 확인했다.