PlantMarkerBench: 다종 식물에서 문헌으로 근거한 식물 마커 추론 벤치마크

식물 단일세포 분석에서 세포 유형 특이 마커를 해석하는 신뢰성은 중요하지만, 현재 자원은 문헌 맥락의 증거를 체계적으로 평가하지 못한다. PlantMarkerBench는 Arabidopsis, maize, rice, tomato의 풀텍스트 논문에서 증거-grounding을 수행하고, 증거 유형 분류와 지지 강도까지 평가하는 재현 가능한 벤치마크를 제공한다. 이를 통해 문헌 기반의 증거 Attribution의 신뢰성 향상과 AI 보조 식물 생물학 연구의 투명성 제고를 목표로 한다.

1. 유전자-세포 유형 연결은 생물학적 맥락에 의존하는데, 단순 co-occurrence만으로는 신뢰할 수 없다. 2) PlantMarkerBench는 종별 grounding과 어휘 표준화를 통해 잡음과 동의어를 줄이고, 증거 창을 문헌의 맥락에서 해석한다. 3) 다섯 가지 증거 체계와 강도 등급을 도입하고, 하이브리드 검색으로 단어 기반 정보와 의미적 정보를 모두 활용한다. 4) 최종적으로 LLM의 증거-grounding 능력을 평가하고, 체계적 오류 분류를 통해 현행 모델의 한계를 드러낸다.

1. Literature Collection & Full-Text Filtering: PubMed/PMC에서 종-세포 유형 쿼리로 풀텍스트를 수집하고, 연구에 의미 있는 본문 섹션만 남긴다. 2) Species Assignment: 제목/초록의 신호를 활용해 주 종을 결정하고, 애매한 논문은 제외한다. 3) Biological Grounding: 종별 gene matcher를 사용해 gene_id를 매핑하고, cell-type vocabulary로 세포 유형을 고정한다. 4) Hybrid Retrieval & Candidate Generation: 문서의 evidence window를 분해하고 BM25, dense embeddings, 키워드 매칭 및 하이브리드 융합으로 후보를 생성한다. S(w) = (0.30sBM25(w) + 0.30semb(w) + 0.15skw(w) + 0.15scell(w) + 0.10scue(w)) ssection(w)로 점수를 매긴다. 5) Evidence Annotation & Aggregation: 후보에 대해 증거 타당성, 유형, 지지 강도, 근거를 LLM 기반 그레이딩으로 산출하고 인간 리뷰로 품질 관리한다. 증거를 gene–cell-type 쌍으로 그래프로 연결하고, 엄정 마커와 확장된 연관성을 산출한다. 6) Human Review: 난이도가 높은 사례를 두 명의 리뷰어가 교차 검증하고 합의를 도출한다. 7) Benchmark Tasks & Splits: 마커-증거 타당성 예측과 증거 유형 예측의 두 가지 핵심 태스크를 정의하며 Arabidopsis(600예) 기반의 균형 샘플을 제공하고, 나머지 종에도 동일한 절차로 확장한다.

벤치마크는 frontier 모델에서도 여전히 도전적이다. 직접 표현 증거의 경우에는 비교적 높은 타당성 F1을 보이지만, 기능적/간접/약한 지지의 경우에는 성능이 크게 저하된다. 증거 유형 분류의 매크로 F1은 여전히 낮아 증거 유형 구분이 어려움이 드러난다. Few-shot 프롬프트는 타당성 예측의 F1을 대체로 개선하지만, 증거 유형 분류의 미세한 차이를 충분히 해결하지 못한다. 지역화(localization) 및 indirect 증거의 정밀 grounding이 특히 어려운 영역으로 남아 있다. 오픈-웨이트 모델은 불확실한 문맥에서 위양(False positives)이 증가하는 경향이 있다. 종 간 일반화도 쉽지 않아, 한 종에서의 성능이 다른 종으로 바로 전이되지는 않는다. 이러한 결과는 PlantMarkerBench가 제시하는 미세한 생물학적 추론과 맥락 의존성의 중요성을 강조한다. 표 3/4의 핵심 수치들은 Arabidopsis와 maize에 대해 각 모델-프롬프트 조합의 Valid F1, Macro-F1 및 각 증거 유형의 성능 차이를 보여준다. 또한 표 5의 프로ンプ트 ablation에서 Few-shot이 Valid F1을 향상시키는 경향을 확인할 수 있고, 표 6~7의 hard-subset 및 오류 분석에서 증거 유형 혼동이 지배적임을 확인한다. 전체적으로, 프롬프트 설계만으로는 문헌-grounded 생물학적 증거 Attribution을 충분히 달성하기 어렵다.

PlantMarkerBench의 아키텍처는 다섯 단계의 모듈로 구성된다. (1) Literature Collection & Filtering: PubMed/PMC에서 풀텍스트를 수집하고 불필요한 섹션을 제거한다. (2) Species Grounding: 각 종별 gene matcher와 cell-type vocabulary를 구성하고, 종별 매칭을 수행한다. (3) Hybrid Retrieval & Candidate Generation: 문서를 문장 단위의 evidence window로 분해하고, BM25, dense embedding, 키워드 매칭, 셀 타입 매칭 및 증거 큐를 조합해 후보를 생성한다. (4) Evidence Annotation: target sentence와 window context, grounding된 gene/cell-type, retrieval 메타데이터를 입력으로 삼아 LLM 그레이딩으로 is_valid_marker_evidence, evidence_type, support_strength, rationale를 산출한다. (5) Benchmarking and Human Review: 초기 자동 라벨링 후 두 명의 리뷰어가 어렵고 위험한 케이스를 adjudicate한다. 증거 창은 five categories(Expression, Localization, Function, Indirect, Noise)으로 라벨링되며, ground truth의 groundings은 graph 형태로 연결된다. 수식적으로는 S(g,c) = sum_{e in E_g,c} w_type(e) + b_paper + b_retrieval + p_conf + 0.3 * s_section 형태의 점수 함수가 사용되어 증거의 최종 점수를 산출한다.

본 벤치마크는 4개 식물 종의 Root 및 발달 관련 세포 유형에 주로 집중하며, 전체 식물 조직·발달 조건·실험 모듈의 전체 스펙트럼을 포괄하지 않는다. 증거 카테고리 간 불균형이 존재하고, 문헌-grounded 증거를 문서 수준으로 확장하는 연구는 아직 필요하다. 또한 LLM의 사전학습 데이터와의 중복(leakage) 가능성을 배제하기 어렵고, non-LLM Baselines에 대한 비교도 확장될 필요가 있다.