OpenBioRQ: 에이전트를 위한 해결되지 않은 생의학 연구 질문 벤치마크

OpenBioRQ는 에이전트형 모델의 문헌 기반 증거 수집과 인용 충실도를 실제 열린 연구 질문으로 검증하도록 설계된 점에서 중요하다. 기존 벤치마크는 정답키가 있는 문제를 전제로 하므로 모델이 주어진 출처를 반복해 재현하는 방식으로 통과할 수 있지만 OpenBioRQ는 그런 우회 경로를 차단해 진정한 근거검증 능력을 측정한다. 이로 인해 식별자 존재 여부만으로는 놓치기 쉬운 잘못된 인용(wrong-paper citation)과 도구 포기(agentic collapse) 같은 실패 모드를 계량적으로 드러낼 수 있다.

왜 중요한가

핵심 기여

에이전트형·비정답(unsolved) 생의학 질문 코퍼스 구축

12,553개의 질문을 12개 도메인에 걸쳐 수집하고 추출→정제→중복제거 파이프라인을 적용해 자가 포함성(self-containment) 85.4%를 달성했다. 각 질문은 retrieval-verified, expert-consensus 등 트랙을 기록하여 출처별 특성을 보존하며 우선순위 기반 트랙에서 핵심 집합(core)을 실험적으로 정의했다. 질문별로 고정 체크리스트를 부착하여 불확정 문제에서도 재현 가능한 채점 기준을 제공한다.

이중 수준 인용 감사 프로토콜(L1 존재성, L2 내용 지지)

L1은 식별자가 실제로 조회되는지 여부를, L2는 조회된 문헌이 응답의 주장을 실질적으로 지지하는지를 판별하는 두 단계 감사 절차를 도입했다. L1에서는 공개 모델들이 거의 인용을 발명하지 않음(약 0.7% 위조)을 관찰했고 L2에서는 실제로 존재하는 인용 중 약 15.9%가 주장과 무관한 잘못된 인용으로 판정됐다. L2를 핵심 신뢰 잣대로 삼음으로써 식별자 존재가 곧 근거됨을 보장하지 않는다는 점을 계량적으로 규명했다.

에이전트 행동 및 도구 사용 분석과 에이전트 소거 현상 규명

10개 생의학 REST API를 도구로 제공하는 다중 라운드 하니스에서 모델별 비시도(non-attempt), 제로-툴(zero-tool) 응답, 인용비율이 크게 달라지는 행동 분산을 보고했다. 가장 어려운 질문군에서 일부 모델은 도구 사용을 포기하여 도구 접근이 실제로 도움이 되어야 할 구간에서 이득을 상실하는 agentic collapse 현상이 확인됐다. 도구 차단(no-tool) 실험에서 도구 접근이 성능 향상으로 일관되게 이어지지 않음을 관찰하여 도구 사용의 효과가 모델·온도·질문에 따라 달라짐을 입증했다.

난이도 기준의 실험적 정의와 frozen-core 공개

세 개의 오픈 모델(GLM-5.1, Qwen3.6, DeepSeek-V4)로 모두 실패한 질문을 core로 정의하고 디코딩 온도 민감성을 고려해 T=0에서 재선별한 423개 frozen-core를 공개했다. 독립 계열의 프론티어 에이전트들(Gemini-3-Pro, Opus-4.7, GPT-5.5)은 동일 frozen-core에 대해 28.8%~59.6% 범위의 해결률을 보여 비포화·판별성 있는 난이도 스펙트럼을 제공했다. 난이도 선정과 재현성을 위해 태스크 ID와 도구 응답 재생 캐시를 공개했다.

핵심 아이디어 이해하기

기존 정답키 기반 벤치마크에서는 모델이 주어진 정답 또는 지정된 출처를 그대로 재현하면 높은 성적을 얻을 수 있다. 토큰 생성 확률을 최적화하는 LLM은 주어진 정답의 패턴과 연결된 문헌 식별자를 출력하는 것만으로도 합격 판정을 받을 수 있으므로 인용의 실제 근거성은 평가에서 배제된다. 이 때문에 열린 연구 질문을 평가 대상으로 삼아야만 인용의 근거성, 불확실성의 적절한 표명, 도구를 통한 증거 수집의 실효성 같은 속성이 드러난다. OpenBioRQ는 질문을 실제로 열린 상태인지 검색 결과로 다시 판단하는 retrieval-grounded 검증을 도입하여 원천 문서의 프레이밍이 만든 확인 편향을 제거한다. 모델은 다중 라운드로 외부 도구를 호출하여 증거를 수집하고 자신의 주장에 대해 PMID 등으로 인용을 남긴다. 각 인용에 대해 먼저 식별자 존재성(L1)을 확인하고 이어서 그 문헌이 주장과 실질적으로 일치하는지(L2)를 판정하여 식별자가 존재한다고 곧바로 근거성을 인정하지 않는다. 평가 루브릭은 각 질문별로 구체적 체크리스트 항목을 생성하고 고정한 뒤 이를 기준으로 채점한다. 체크리스트는 must_mention, must_acknowledge, must_ground, must_avoid 타입을 포함하며 항목별 가중치(w_i)와 판정값(v_i∈{1,0.5,0})으로 점수를 0~1로 정량화한다. 이 접근은 주관적 연속 척도 대신 구체적 판정표를 사용해 LLM-대-LLM 또는 사람-대-LLM 간 일관성을 높이고, 도구 포기와 같은 행동적 실패를 체계적으로 포착할 수 있게 한다.

방법론

코퍼스 구축은 크롤링→추출→정제→중복제거→내보내기 파이프라인으로 진행되었고, 추출물에 대해 MiniLM-L6 코사인 0.90 이상 기준으로 근접중복을 제거했다. 질문 원문은 재작성(refine) 단계를 거쳐 문맥 없이도 독립적으로 읽히는 자기포함성(self-containment)을 확보했으며 LLM-judge 검증에서 전체 85.4% 자기포함성을 얻었다. 각 질문은 retrieval_verified·expert_consensus·priority_setting·expand 네 트랙 메타데이터를 유지하여 출처별 특성을 보존했다. 평가 하니스는 모델에게 최대 10라운드까지 10개 생의학 REST API(pubmed, clinicaltrialsgov, openfda, opentargets, chembl, uniprot, pubchem, kegg, ncbi_datasets, biomcp)를 통해 도구 호출을 허용하는 agentic 실행 환경으로 구성되었다. 각 실행은 최종 답변, 도구 호출 이력, 토큰 사용량, wall-clock 시간을 기록하며 각 질문별로 source_id#k 형태의 task_id가 부여된다. 채점은 질문별로 한 번 생성해 고정한 체크리스트에 따라 심사자가 각 항목을 met/partial/not_met(1/0.5/0)로 판정하고 가중합을 정규화해 0~1 점수로 환산하는 방식이다. 인용 감사는 두 단계로 수행되었다. 첫 단계 L1은 식별자 존재성 검사로서 조회 실패를 일시적 실패와 영구 실패로 구분해 재시도 후 진짜 미존재만 위조로 집계했다. 두 번째 단계 L2는 인용 문헌의 제목·초록(및 부분적 전체본)과 모델의 주장 문구를 대조해 '지지함/부분 지지/지지하지 않음'으로 분류하는 절차로서 주요 실험 결과를 산출하는 핵심 판정이다.

주요 결과

OpenBioRQ 코퍼스는 12,553개의 질문을 포함하며 12개 상위 도메인에 고르게 분포했다. 로스터 모델(GLM-5.1, Qwen3.6, DeepSeek-V4)으로 모두 실패한 질문을 core로 정의한 뒤 T=0 기준으로 재선별하여 423개로 이루어진 frozen-core를 공개했다. 프론티어 독립 계열 모델들의 frozen-core 해결률은 Gemini-3-Pro 28.8%, Opus-4.7 37.8%, GPT-5.5 59.6%로 범위를 형성해 고난도 영역에서 비포화적이며 판별력이 존재함이 확인됐다. 인용 L1 감사에서는 대부분의 인용 식별자가 실제로 조회되어 위조율이 낮았고 전체 4,863개 인용 중 약 0.7%가 위조로 판정되었다. 반면 L2 내용 지지 감사에서 조회된 4,649개 인용 중 GLM 기반 판정으로 약 15.9%가 인용 문헌이 주장과 일치하지 않는 wrong-paper citation으로 판정되었고 다른 계열 판정(Opus)에서는 10.6%로 보수적 추정이 나왔다. 이 결과는 존재성 검사만으로는 인용 신뢰성을 확보할 수 없음을 수치로 보여준다. 행동 분석에서는 모델별로 비시도(non-attempt), 제로-툴(zero-tool) 응답, 인용 비율, 평균 도구 호출 수가 크게 달라졌다. 일부 모델은 가장 어려운 질문군에서 도구 사용을 거의 멈추어 agentic collapse가 관찰되었고 도구 차단 실험에서는 도구 접근이 항상 성능 향상으로 귀결되지 않음을 확인했다. 난이도는 디코딩 온도에 민감해 T=0.3에서의 구성과 T=0에서의 구성 간에 멤버십이 일부 변동했으나 공개된 frozen-core는 재현 가능한 실험 자산으로 제공되었다.

기술 상세

전체 시스템은 질문별로 도구 호출을 허용하는 다중 라운드 agentic 하니스와 질문별 고정 체크리스트로 구성되어 있다. 체크리스트는 각 항목에 가중치 w_i∈{1,2,3}을 부여하고 판정값 v_i∈{1,0.5,0}을 적용하여 score(q)=Σ_i w_i v_i / Σ_i w_i 방식으로 0~1 점수를 계산한다. must_avoid 항목은 극성 반전 방식으로 설계되어 잘못된 행위가 있을수록 점수가 낮아지게 되어 있다. 도구 스택은 pubmed, clinicaltrialsgov, openfda, opentargets, chembl, uniprot, pubchem, kegg, ncbi_datasets, biomcp의 10개 REST API 래퍼로 구성되며 모델은 최대 10라운드 내에서 이들을 호출할 수 있다. 각 라운드의 도구 응답, 호출 파라미터, 모델 프롬프트 문맥이 로깅되어 후속 감사와 재현에 사용된다. 도구 응답은 재현을 위해 도구 응답 재생 캐시에 보존되며 재실행 대신 재생 캐시로 실험을 재현할 수 있다. 인용 감사는 두 단계로 이루어지며 L1에서는 조회 실패·일시 실패를 구분하여 진짜 미존재만 위조로 집계한다. L2에서는 제목·초록 기반 판독을 통해 '지지함/부분지지/지지하지 않음'을 판정하고 주요 결과는 LLM-대-LLM 판정(예: GLM-5.1)과 다른 계열 판정(예: Opus-4.7)을 교차 비교하여 판정 계열 의존성을 보고한다. 난이도 설정은 세 오픈-웨이트 모델이 모두 실패한 질문을 core로 정의한 뒤 T=0 디코딩에서 여전히 실패하는 frozen-core를 공개하는 방식으로 수행되었다.

한계점

L2 wrong-paper 비율은 현재 LLM-대-LLM 판정에 근거한 추정치이며 도메인 전문가의 최종 검증은 아직 완료되지 않아 판정은 판정자 계열에 따라 변동할 수 있다. frozen-core의 멤버십은 디코딩 온도와 재샘플링에 민감해 두 번의 T=0 추출에서 경계 항목의 상당 부분이 바뀌었으며 따라서 단일 유지율 수치는 보고하지 않는다. 새로운 모델 성능 측정에는 라이브 도구 호출이 필요하거나 제공된 도구 응답 재생 캐시를 사용해야 하므로 완전한 재실행을 위해서는 도구 응답 보존과 캐시 사용 정책을 준수해야 한다.

실무 활용

OpenBioRQ는 연구지원용 문헌 기반 근거 검증과 에이전트 행동 평가에 실무적으로 활용 가능하다. 연구자와 시스템 개발자는 공개된 질문 목록과 도구 응답 재생 캐시를 이용해 도구 체인·채점 파이프라인·인용 감사 절차를 재현하고 모델 개선 전후의 근거 충실도 변화를 측정할 수 있다. 단, 논문은 임상 의사결정 도구로 사용되어서는 안 된다는 점을 명시한다.

문헌 기반 RAG 시스템의 인용 근거성 검증을 위한 벤치마크로 사용하여 L1 대신 L2 기준을 중심으로 성능 회귀를 탐지할 수 있다.
에이전트 설계에서 도구 호출 정책과 체인 오브 액션이 실제 근거 수집에 미치는 영향을 실험적으로 평가하고 agentic collapse를 완화하는 전략을 탐색할 수 있다.
체크리스트 기반 루브릭을 사용해 자동 채점 파이프라인의 일관성과 재현성을 확보하고 LLM-대-LLM 채점 대비 심사자 간 일치도를 향상시키는 방법을 검증할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

agentic models(에이전트형 모델)retrieval-grounded(검색 기반 검증)citation verification(인용 검증)frozen checklist(고정 체크리스트)agentic collapse(에이전트 도구 포기)

용어 해설

에이전트형 설정(Agentic): — 모델이 외부 도구를 호출하여 다중 라운드로 증거를 수집하고 의사결정을 수행하는 운영 방식으로, 질의응답에서 모델이 스스로 검색·수집·인용을 수행하도록 설계된 환경이다. 이 논문에서는 10개의 생의학 API로 도구 호출을 허용하는 평가 하니스가 agentic 설정에 해당한다. agentic 환경은 도구 사용의 유무와 순서가 성능에 직접 영향을 미치므로 도구 의존성 및 도구 포기(agentic collapse)를 측정할 수 있게 한다.
검색 기반 검증(Retrieval-grounded): — 모델의 응답을 외부 검색 결과로 재검증하여 질문의 개방성(open status)이나 응답 근거를 판별하는 절차이다. OpenBioRQ에서는 질문이 실제로 열린 문제인지 확인하기 위해 모델이 수집한 후속 증거만으로 재판정하는 Stage-2 검증을 적용했다. 이 방식은 원문 출처의 프레이밍에 따른 확인 편향을 줄이고 실제 문헌 근거의 존재 여부와 적합성을 판별한다.
고정 체크리스트(Frozen checklist): — 각 질문마다 한 번 생성한 구체적 채점 기준을 고정하여 모든 심사자가 동일한 항목으로 채점하게 하는 루브릭 방식이다. 항목별 가중치와 판정(1, 0.5, 0)을 사용해 점수를 0~1로 정량화하고, must_mention·must_acknowledge·must_ground·must_avoid 같은 타입을 포함한다. 체크리스트를 고정함으로써 LLM-대-LLM 채점에서의 재현성과 심사자간 상관을 크게 향상시켰다.
잘못된 논문 인용(Wrong-paper citation): — 생성된 식별자(PMID 등)는 실제로 존재하지만 인용된 문헌이 응답에서 주장한 내용을 지지하지 않는 사례를 가리킨다. OpenBioRQ의 L2 판정은 존재 여부(L1)와 구별하여 이 오류를 검출했고, 전체 실제 인용 중 약 15.9%가 이런 잘못된 인용으로 판정됐다. 잘못된 논문 인용은 식별자가 해석자에게 신뢰를 주기 때문에 위조보다 더 심각한 오도 가능성을 갖는다.
에이전트 도구 포기 현상(Agentic collapse): — 문제가 가장 어려운 구간에서 모델이 외부 도구 호출을 중단하고 파라메트릭 지식으로 응답을 생성하는 현상이다. OpenBioRQ에서 일부 모델은 가장 난도가 높은 질문에서 도구 호출을 거의 하지 않거나 완전히 중단하여 도구 접근의 이득이 사라지는 패턴을 보였다. 에이전트 도구 포기는 도구 기반 증거 수집이 실제로 도움이 되어야 하는 상황에서 오히려 성능 저하를 초래할 수 있음을 시사한다.
오픈-웨이트 모델(Open-weight): — 소스 코드나 가중치가 공개되어 연구자가 직접 접근·재현 가능한 모델을 말하며, OpenBioRQ는 공개 가중치 참조 모델 군(예: GLM-5.1, Qwen3.6, DeepSeek-V4)을 난이도 기준으로 사용했다. 이들로 구성한 로스터가 모두 실패한 질문을 core로 정의하여 난이도의 객관적 기준으로 삼았다. 오픈-웨이트 기준은 재현성과 투명성 측면에서 난이도 구분의 근거로 활용됐다.

OpenBioRQ: 에이전트를 위한 해결되지 않은 생의학 연구 질문 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

AI 팩트체커의 죽은 인용 점검

LLM이 만든 유령 저자 이름의 상관관계

생의학 논문 89%에서 LLM 흔적 포착

실험실 속 기계

벤치마크를 넘어선 Frontier LLM의 실사용 팩트체크 불일치

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

AI 팩트체커의 죽은 인용 점검

LLM이 만든 유령 저자 이름의 상관관계

생의학 논문 89%에서 LLM 흔적 포착

실험실 속 기계

벤치마크를 넘어선 Frontier LLM의 실사용 팩트체크 불일치