MedConclusion: 구조화된 초록으로부터 생물학적 결론 생성을 위한 벤치마크

LLM이 단순히 정보를 요약하는 수준을 넘어 증거로부터 과학적 결론을 추론할 수 있는지 평가하는 대규모 데이터셋을 제공한다. 의학 논문의 구조화된 초록을 활용해 배경과 결과로부터 저자의 실제 결론을 맞추는 고난도 추론 과제를 정의함으로써 AI의 연구 지원 능력을 정밀하게 측정할 수 있다.

딥러닝 모델의 성능을 평가할 때 흔히 쓰이는 요약(Summarization)은 입력 텍스트의 핵심 정보를 압축하는 데 집중하지만, 결론 도출(Conclusion Generation)은 주어진 증거들 사이의 논리적 연결 고리를 찾아 새로운 통찰을 제시해야 하는 더 높은 수준의 추론 능력을 요구한다. 기존 연구들은 특정 질병이나 소규모 데이터에 국한되어 LLM의 범용적인 과학적 추론 능력을 측정하기 어려웠다.

이 논문은 의학 논문의 '구조화된 초록'이 가진 고유한 형식을 활용한다. 배경(Background), 방법(Methods), 결과(Results)라는 명확한 증거 데이터가 주어졌을 때, 모델이 임베딩 공간에서 이 정보들을 결합하여 저자가 도출한 최종 결론(Conclusion)을 얼마나 정확히 재구성하는지 측정한다. 이는 단순한 단어 매칭을 넘어 논문의 논리적 흐름을 파악해야 하는 과제이다.

실험 결과, LLM은 일반적인 요약 프롬프트를 주었을 때보다 결론 도출 프롬프트를 주었을 때 더 높은 수치적 일관성과 논리적 정확도를 보였다. 이는 모델이 '요약'과 '결론'이라는 서로 다른 담화 기능을 인지하고 있음을 시사하며, 과학적 발견을 돕는 에이전트로서의 가능성을 보여준다.

PubMed에서 'hasstructuredabstract' 제약 조건을 만족하는 논문들을 수집하고 EDirect 도구와 커스텀 XML 파서를 통해 파싱했다. 데이터 정제 과정에서 영어 이외의 언어, 핵심 필드가 비어있는 레코드, 3개 미만의 섹션을 가진 초록들을 필터링하여 최종적으로 약 570만 개의 고품질 레코드를 확보했다.

평가를 위해 네 가지 프롬프트 모드를 설계했다. (A) 제약 없는 학술적 결론 작성, (B) 제약 없는 학술적 요약 작성, (C) 문장 및 단어 수 제한이 있는 결론 작성, (D) 동일한 제한이 있는 요약 작성이다. 이를 통해 프롬프트의 지시 사항이 모델의 추론 결과에 미치는 영향을 분석했다.

LLM-as-a-judge 평가에서는 GPT-5.4-mini를 주 평가자로, Gemini 3 Flash를 보조 평가자로 설정했다. 평가 지표는 [생성된 결론과 정답 결론 입력 → LLM 연산 → 0-100점 사이의 5개 차원 점수 출력] 과정을 거치며, 의미적 유사성, 문체 유사성, 비모순성, 수치 일관성, 격식성을 측정한다.

GPT-5.4가 모든 평가 지표에서 가장 높은 성능을 기록하며 선두를 차지했다. Gemini 3.1 Pro와 Gemini 3 Flash, DeepSeek-V3.2 등이 그 뒤를 바짝 쫓고 있으나, 상위권 모델들 사이의 점수 차이가 크지 않은 '점수 압축(Score Compression)' 현상이 관찰되었다. 이는 현재의 자동 평가 지표가 최상위 모델들의 미세한 성능 차이를 변별하는 데 한계가 있음을 나타낸다.

결론 작성과 요약 작성의 비교 분석 결과, 모델들은 요약 모드에서 의미적 유사성은 유지했으나 수치적 일관성 점수가 급격히 하락했다. 예를 들어 GPT-5.4의 경우 요약 모드에서 수치 일관성이 약 22점 감소했다. 이는 모델이 요약을 수행할 때 결론 도출에 필요한 핵심 수치 정보를 누락하거나 변형하는 경향이 있음을 보여준다.

학술지 권위(SJR)와 성능의 상관관계 분석에서는 권위가 높은 학술지의 논문일수록 텍스트 유사도(ROUGE)와 문체 유사도는 높게 나타났으나, 사실적 일관성이나 수치 정확도와는 유의미한 상관관계가 없었다. 이는 유명 학술지의 결론이 문체적으로는 정형화되어 있어 따라 하기 쉽지만, 그 안의 논리적 추론 난이도는 학술지의 명성과 무관하게 독립적임을 시사한다.

MedConclusion은 PubMed의 구조화된 초록을 (Label, Text) 튜플 형태의 JSONL로 구조화하여 제공한다. 결론 섹션을 식별하기 위해 'CONCLUSION', 'AUTHORS' CONCLUSIONS', 'MAIN FINDINGS' 등 20가지 이상의 레이블 변종을 매칭하는 규칙 기반 시스템을 사용했다.

평가 시스템은 참조 기반 지표(Reference-based)와 LLM 판정 지표(Judge-based)의 하이브리드 구조이다. 참조 기반 지표에는 ROUGE-1/2/L, BLEU, 그리고 sentence-BERT(all-mpnet-base-v2)를 활용한 코사인 유사도가 포함된다. 또한 GPT-2를 외부 언어 모델로 사용하여 생성된 텍스트의 Perplexity를 측정함으로써 유창성을 진단한다.

실험에 사용된 모델은 GPT-5.4, Gemini 3 시리즈, Llama 3.1/3.2, DeepSeek-V3.2/R1, Qwen 2.5/3 등 폐쇄형과 오픈소스를 망라하는 15종 이상의 최신 LLM이다. 모든 실험은 비용 효율성을 위해 전체 데이터셋 중 무작위로 샘플링된 30,000개의 하위 집합에서 수행되었다.

초록의 결론 섹션만을 대상으로 하므로 논문 전체 본문에 포함된 더 상세한 증거들을 모두 반영하지 못할 수 있다. 또한 LLM-as-a-judge 방식은 판정 모델의 종류에 따라 절대적인 점수 수치가 크게 변동하는 '판정자 편향' 문제가 존재함을 논문에서 명시하고 있다.