AgentSLR: 에이전트 AI를 활용한 역학 분야의 체계적 문헌 고찰 자동화

체계적 문헌 고찰(SLR)은 증거 기반 보건 정책의 핵심이지만, 수천 편의 논문을 검토하는 데 막대한 시간과 비용이 소요되는 병목 현상이 존재한다. 이 논문은 에이전트 기반 AI 파이프라인을 통해 전문가 수준의 정확도를 유지하면서도 검토 시간을 7주에서 20시간으로 단축하여, 팬데믹과 같은 긴급 상황에서 신속한 과학적 증거 합성을 가능하게 한다.

기존의 SLR은 연구자가 수만 개의 초록을 읽고 필터링한 뒤, 수백 개의 전문에서 특정 수치를 찾아내는 고도의 인지적 작업이다. Transformer 기반의 일반적인 LLM은 문맥 파악에는 능하지만, 수천 페이지에 달하는 문서 뭉치에서 미세한 수치를 정확히 매핑하거나 전문가의 엄격한 포함/제외 기준을 일관되게 적용하는 데 한계가 있었다.

AgentSLR은 이를 해결하기 위해 '추론 모델(Reasoning Model)'의 사고 과정과 '도구 호출(Tool-calling)'을 결합한다. 먼저 논문 전문을 Markdown으로 변환하여 구조화한 뒤, 에이전트가 특정 파라미터를 찾기 위한 전용 도구를 호출한다. 이때 에이전트는 단순히 텍스트를 요약하는 것이 아니라, 도구의 입력값으로 본문의 구체적인 수치를 넣고 출력값의 의미가 연구 목적에 부합하는지 스스로 검증하는 단계를 거친다.

결과적으로 이 시스템은 딥러닝의 임베딩 유사도 검색을 넘어, 인간 연구자가 논문을 읽고 표를 해석하며 데이터를 정리하는 논리적 워크플로우를 에이전트의 다단계 추론 루프로 재현했다. 이를 통해 복잡한 역학 데이터의 누락을 최소화하고 추출된 모든 값에 대한 원문 근거를 확보하여 신뢰성을 보장한다.

전체 파이프라인은 검색, 초록 스크리닝, PDF-to-Markdown 변환, 전문 스크리닝, 데이터 추출, 보고서 생성의 6단계로 구성된다. 각 단계는 독립적인 에이전트가 담당하며, 이전 단계의 출력을 검증하고 다음 단계로 전달하는 모듈형 구조를 가진다.

데이터 추출 단계에서는 스키마 제약 도구 호출(Schema-constrained tool-calling) 방식을 사용한다. [추출 대상 파라미터 정의 → 본문 내 관련 텍스트 검색 → 도구 호출을 통한 구조화된 값 생성 → 근거 텍스트 매핑] 순으로 연산이 수행된다. 특히 수치 데이터 추출 시에는 해당 값이 평균인지, 중앙값인지, 혹은 불확실성 범위인지 등을 구분하여 스키마에 맞게 정규화한다.

보고서 생성은 '비판-수정(Critique-Refinement)' 루프를 통해 고도화된다. [추출된 데이터셋 입력 → 초안 작성 → 8가지 차원의 루브릭 기반 비판 → 수정안 생성] 과정을 최대 5회 반복한다. 각 반복마다 모델은 데이터 피델리티(Data Fidelity)와 추적성(Traceability)을 평가받으며, 모든 주장이 추출된 데이터에 의해 명시적으로 뒷받침되도록 강제한다.

AgentSLR은 gpt-oss-120b 모델을 사용할 때 전체 워크플로우를 20시간 만에 완료했다. 이는 인간 전문가의 385시간 대비 약 19.3배의 효율성 향상이며, 8시간 근무 기준으로는 58배의 달력 시간 절감 효과를 의미한다. 특히 전문 스크리닝 단계에서는 인간보다 118배 빠른 속도를 기록했다.

스크리닝 성능 평가에서 인간의 결정을 기준으로 했을 때 0.81의 Recall을 달성했다. 인간이 초록을 먼저 필터링하고 AI가 전문을 검토하는 혼합 방식(Human-conditioned)에서는 Recall이 0.92까지 상승하여, 중요한 연구를 놓칠 위험을 최소화할 수 있음을 입증했다.

데이터 추출 정확도는 평균 79.8%로 나타났다. 전문가 평가 결과, 시스템의 역량은 인간의 감독 하에 실무에 즉시 활용 가능한 수준(Likert 척도 4점 이상)으로 평가되었다. 모델별 비교에서는 Kimi-K2.5가 스크리닝에서 가장 우수한 성능을 보였고, gpt-oss-120b는 매우 낮은 비용으로도 최상위권 모델과 대등한 성능을 기록했다.

AgentSLR 아키텍처는 추론 모델(LRM)의 사고 과정을 활용하도록 설계되었다. 별도의 미세 조정 없이도 복잡한 포함/제외 기준을 체인 오브 쏘트(Chain-of-Thought) 명령어로 처리하여 높은 일반화 성능을 확보했다. PDF 처리를 위해서는 Mistral OCR을 사용하여 복잡한 수식(LaTeX)과 표(HTML)를 보존하는 Markdown 변환 과정을 거치며, 이는 LLM이 논문의 구조적 정보를 정확히 파악하게 하는 핵심 요소이다.

데이터 추출 시에는 'Presence Flagging' 단계를 먼저 수행하여 관련 정보가 없는 논문에 대한 불필요한 도구 호출을 방지함으로써 비용과 연산량을 최적화했다. 또한 추출된 모든 값에 대해 원문 내 위치를 기록하는 Provenance 레이어를 구현하여, 연구자가 AI의 결과물을 즉시 검증할 수 있는 감사 추적(Audit Trail) 기능을 제공한다.

모델 벤치마킹 결과, 성능은 모델의 파라미터 수나 비용보다는 각 모델이 가진 고유한 추론 능력에 의해 결정됨이 확인되었다. 예를 들어 gpt-oss-120b는 GPT-5.2보다 96배 저렴한 비용으로도 유사한 성능을 냈으며, Kimi-K2.5는 스크리닝 단계에서 가장 높은 F1 스코어를 기록했다. 이는 특정 작업 단계에 최적화된 모델을 라우팅하는 멀티 에이전트 구성의 가능성을 시사한다.

오픈소스 논문(전체의 약 26%)으로 분석 대상이 제한되어 전체 문헌에 대한 포괄적 분석에는 한계가 있다. 또한 영어 논문만을 대상으로 하여 다국어 문헌에 포함된 역학 정보를 놓칠 수 있는 언어적 편향이 존재한다. 에이전트의 자율성이 단계별 프롬프트와 스키마 검증에 의해 의도적으로 제한되어 있어, 완전히 새로운 연구 설계나 비정형적인 데이터 보고 방식에 유연하게 대응하는 능력은 부족할 수 있다.