OpenBioRQ: 에이전트를 위한 해결되지 않은 생의학 연구 질문 벤치마크

OpenBioRQ는 에이전트형 모델의 문헌 기반 증거 수집과 인용 충실도를 실제 열린 연구 질문으로 검증하도록 설계된 점에서 중요하다. 기존 벤치마크는 정답키가 있는 문제를 전제로 하므로 모델이 주어진 출처를 반복해 재현하는 방식으로 통과할 수 있지만 OpenBioRQ는 그런 우회 경로를 차단해 진정한 근거검증 능력을 측정한다. 이로 인해 식별자 존재 여부만으로는 놓치기 쉬운 잘못된 인용(wrong-paper citation)과 도구 포기(agentic collapse) 같은 실패 모드를 계량적으로 드러낼 수 있다.

기존 정답키 기반 벤치마크에서는 모델이 주어진 정답 또는 지정된 출처를 그대로 재현하면 높은 성적을 얻을 수 있다. 토큰 생성 확률을 최적화하는 LLM은 주어진 정답의 패턴과 연결된 문헌 식별자를 출력하는 것만으로도 합격 판정을 받을 수 있으므로 인용의 실제 근거성은 평가에서 배제된다. 이 때문에 열린 연구 질문을 평가 대상으로 삼아야만 인용의 근거성, 불확실성의 적절한 표명, 도구를 통한 증거 수집의 실효성 같은 속성이 드러난다. OpenBioRQ는 질문을 실제로 열린 상태인지 검색 결과로 다시 판단하는 retrieval-grounded 검증을 도입하여 원천 문서의 프레이밍이 만든 확인 편향을 제거한다. 모델은 다중 라운드로 외부 도구를 호출하여 증거를 수집하고 자신의 주장에 대해 PMID 등으로 인용을 남긴다. 각 인용에 대해 먼저 식별자 존재성(L1)을 확인하고 이어서 그 문헌이 주장과 실질적으로 일치하는지(L2)를 판정하여 식별자가 존재한다고 곧바로 근거성을 인정하지 않는다. 평가 루브릭은 각 질문별로 구체적 체크리스트 항목을 생성하고 고정한 뒤 이를 기준으로 채점한다. 체크리스트는 must_mention, must_acknowledge, must_ground, must_avoid 타입을 포함하며 항목별 가중치(w_i)와 판정값(v_i∈{1,0.5,0})으로 점수를 0~1로 정량화한다. 이 접근은 주관적 연속 척도 대신 구체적 판정표를 사용해 LLM-대-LLM 또는 사람-대-LLM 간 일관성을 높이고, 도구 포기와 같은 행동적 실패를 체계적으로 포착할 수 있게 한다.

코퍼스 구축은 크롤링→추출→정제→중복제거→내보내기 파이프라인으로 진행되었고, 추출물에 대해 MiniLM-L6 코사인 0.90 이상 기준으로 근접중복을 제거했다. 질문 원문은 재작성(refine) 단계를 거쳐 문맥 없이도 독립적으로 읽히는 자기포함성(self-containment)을 확보했으며 LLM-judge 검증에서 전체 85.4% 자기포함성을 얻었다. 각 질문은 retrieval_verified·expert_consensus·priority_setting·expand 네 트랙 메타데이터를 유지하여 출처별 특성을 보존했다. 평가 하니스는 모델에게 최대 10라운드까지 10개 생의학 REST API(pubmed, clinicaltrialsgov, openfda, opentargets, chembl, uniprot, pubchem, kegg, ncbi_datasets, biomcp)를 통해 도구 호출을 허용하는 agentic 실행 환경으로 구성되었다. 각 실행은 최종 답변, 도구 호출 이력, 토큰 사용량, wall-clock 시간을 기록하며 각 질문별로 source_id#k 형태의 task_id가 부여된다. 채점은 질문별로 한 번 생성해 고정한 체크리스트에 따라 심사자가 각 항목을 met/partial/not_met(1/0.5/0)로 판정하고 가중합을 정규화해 0~1 점수로 환산하는 방식이다. 인용 감사는 두 단계로 수행되었다. 첫 단계 L1은 식별자 존재성 검사로서 조회 실패를 일시적 실패와 영구 실패로 구분해 재시도 후 진짜 미존재만 위조로 집계했다. 두 번째 단계 L2는 인용 문헌의 제목·초록(및 부분적 전체본)과 모델의 주장 문구를 대조해 '지지함/부분 지지/지지하지 않음'으로 분류하는 절차로서 주요 실험 결과를 산출하는 핵심 판정이다.

OpenBioRQ 코퍼스는 12,553개의 질문을 포함하며 12개 상위 도메인에 고르게 분포했다. 로스터 모델(GLM-5.1, Qwen3.6, DeepSeek-V4)으로 모두 실패한 질문을 core로 정의한 뒤 T=0 기준으로 재선별하여 423개로 이루어진 frozen-core를 공개했다. 프론티어 독립 계열 모델들의 frozen-core 해결률은 Gemini-3-Pro 28.8%, Opus-4.7 37.8%, GPT-5.5 59.6%로 범위를 형성해 고난도 영역에서 비포화적이며 판별력이 존재함이 확인됐다. 인용 L1 감사에서는 대부분의 인용 식별자가 실제로 조회되어 위조율이 낮았고 전체 4,863개 인용 중 약 0.7%가 위조로 판정되었다. 반면 L2 내용 지지 감사에서 조회된 4,649개 인용 중 GLM 기반 판정으로 약 15.9%가 인용 문헌이 주장과 일치하지 않는 wrong-paper citation으로 판정되었고 다른 계열 판정(Opus)에서는 10.6%로 보수적 추정이 나왔다. 이 결과는 존재성 검사만으로는 인용 신뢰성을 확보할 수 없음을 수치로 보여준다. 행동 분석에서는 모델별로 비시도(non-attempt), 제로-툴(zero-tool) 응답, 인용 비율, 평균 도구 호출 수가 크게 달라졌다. 일부 모델은 가장 어려운 질문군에서 도구 사용을 거의 멈추어 agentic collapse가 관찰되었고 도구 차단 실험에서는 도구 접근이 항상 성능 향상으로 귀결되지 않음을 확인했다. 난이도는 디코딩 온도에 민감해 T=0.3에서의 구성과 T=0에서의 구성 간에 멤버십이 일부 변동했으나 공개된 frozen-core는 재현 가능한 실험 자산으로 제공되었다.

전체 시스템은 질문별로 도구 호출을 허용하는 다중 라운드 agentic 하니스와 질문별 고정 체크리스트로 구성되어 있다. 체크리스트는 각 항목에 가중치 w_i∈{1,2,3}을 부여하고 판정값 v_i∈{1,0.5,0}을 적용하여 score(q)=Σ_i w_i v_i / Σ_i w_i 방식으로 0~1 점수를 계산한다. must_avoid 항목은 극성 반전 방식으로 설계되어 잘못된 행위가 있을수록 점수가 낮아지게 되어 있다. 도구 스택은 pubmed, clinicaltrialsgov, openfda, opentargets, chembl, uniprot, pubchem, kegg, ncbi_datasets, biomcp의 10개 REST API 래퍼로 구성되며 모델은 최대 10라운드 내에서 이들을 호출할 수 있다. 각 라운드의 도구 응답, 호출 파라미터, 모델 프롬프트 문맥이 로깅되어 후속 감사와 재현에 사용된다. 도구 응답은 재현을 위해 도구 응답 재생 캐시에 보존되며 재실행 대신 재생 캐시로 실험을 재현할 수 있다. 인용 감사는 두 단계로 이루어지며 L1에서는 조회 실패·일시 실패를 구분하여 진짜 미존재만 위조로 집계한다. L2에서는 제목·초록 기반 판독을 통해 '지지함/부분지지/지지하지 않음'을 판정하고 주요 결과는 LLM-대-LLM 판정(예: GLM-5.1)과 다른 계열 판정(예: Opus-4.7)을 교차 비교하여 판정 계열 의존성을 보고한다. 난이도 설정은 세 오픈-웨이트 모델이 모두 실패한 질문을 core로 정의한 뒤 T=0 디코딩에서 여전히 실패하는 frozen-core를 공개하는 방식으로 수행되었다.

L2 wrong-paper 비율은 현재 LLM-대-LLM 판정에 근거한 추정치이며 도메인 전문가의 최종 검증은 아직 완료되지 않아 판정은 판정자 계열에 따라 변동할 수 있다. frozen-core의 멤버십은 디코딩 온도와 재샘플링에 민감해 두 번의 T=0 추출에서 경계 항목의 상당 부분이 바뀌었으며 따라서 단일 유지율 수치는 보고하지 않는다. 새로운 모델 성능 측정에는 라이브 도구 호출이 필요하거나 제공된 도구 응답 재생 캐시를 사용해야 하므로 완전한 재실행을 위해서는 도구 응답 보존과 캐시 사용 정책을 준수해야 한다.