CiteAudit: 인용은 했지만 읽으셨나요? LLM 시대의 과학적 문헌 인용 검증을 위한 벤치마크

LLM이 생성한 그럴듯한 가짜 논문 인용은 학술적 무결성을 심각하게 훼손하며 기존 도구로는 탐지가 어렵다. 이 논문은 실제 사례와 합성 데이터를 결합한 대규모 벤치마크와 함께, 검색과 추론을 결합한 다중 에이전트 시스템을 제안하여 학술 문헌의 신뢰성을 획기적으로 높인다.

기존의 인용 검증은 단순한 문자열 일치나 임베딩 기반 유사도 검색에 의존했으나, LLM은 논문 제목의 핵심 키워드를 교묘하게 바꾸거나 존재하지 않는 저자를 섞는 등 의미적으로 그럴듯한 환각을 생성하여 이를 우회한다. CiteAudit은 이를 해결하기 위해 다중 에이전트 협업과 단계적 검증(SOP) 개념을 도입했다. 먼저 Extractor가 PDF에서 인용 정보를 구조화된 데이터로 추출하고, Memory Agent가 기존 검증 정보인지 확인한다. 처음 보는 인용은 Web Search Agent가 인터넷 증거를 수집하고, Judge Agent가 수집된 증거와 인용 정보가 글자 단위로 일치하는지 엄격하게 대조한다. 이 방식은 딥러닝의 추론 능력과 외부 지식 검색(RAG)을 결합한 형태로, 가장 비용이 큰 학술 DB 검색을 최후의 수단으로 남겨두는 계층적 구조를 통해 속도와 정밀도를 동시에 달성했다.

전체 시스템은 LLM Controller가 관리하는 표준 운영 절차(SOP)에 따라 작동한다. PDF 문서를 입력받으면 Extractor Agent가 시각적 및 텍스트 정보를 분석하여 JSON 형식의 메타데이터로 변환한다. [PDF 원문 → OCR 및 구조화 → JSON 메타데이터] 과정을 통해 비정형 데이터를 기계가 읽을 수 있는 형태로 정제한다. 검증은 4단계 폭포수 모델로 진행된다. 1단계는 메모리 조회로, 이전에 검증된 인용인지 코사인 유사도를 통해 확인한다. [메타데이터 벡터화 → 벡터 DB 검색 → 유사도 점수 산출] 과정을 거쳐 점수가 임계값(0.92)을 넘으면 즉시 검증 완료로 판단한다. 메모리에 없는 경우 Web Search Agent가 Google Search API를 통해 상위 5개 페이지 전문을 크롤링한다. Judge Agent는 추출된 메타데이터와 웹 페이지 내용을 엄격한 일치 기준(Strict Consistency Criterion)으로 비교한다. [추출 필드와 정답 필드 입력] → [문자 단위 일치 여부를 판별하는 지시 함수 곱셈 수행] → [0 또는 1 결과 도출] → [모든 필드가 완벽히 일치해야만 1이 되어 유효함으로 인정]하는 원리다. 웹 검색 결과가 불충분할 경우에만 Scholar Agent가 호출되어 Google Scholar 등 권위 있는 DB에서 정답을 가져와 최종 판단을 내린다.

제안 모델은 생성된 벤치마크 데이터셋에서 정확도 0.973, F1 스코어 0.968을 기록하며 GPT-5.2(0.955)나 Claude-Sonnet-4.5(0.594) 등 단일 모델 기반 베이스라인을 압도했다. 특히 재현율 1.000을 달성하여 모든 환각 사례를 놓치지 않고 탐지해냈다. 실제 학술지 투고 논문에서 수집한 리얼월드 테스트셋에서도 정확도 0.972, F1 스코어 0.903의 높은 성능을 보여, 제안된 데이터 생성 방식이 실제 환경의 인용 오류 특성을 잘 반영함을 입증했다. 효율성 측면에서 10개의 인용을 검증하는 데 평균 2.3초가 소요되었으며, 이는 GPT-5.2(47.1초) 대비 월등히 빠른 속도이다. 또한 오픈소스 모델인 Qwen3-VL-235B를 로컬에 배포하여 사용함으로써 상용 API 비용을 0으로 절감하면서도 높은 성능을 유지했다.

CiteAudit 아키텍처는 계층적 SOP를 따르는 비중앙 집중형 다중 에이전트 시스템이다. Qwen3-VL-235B 모델을 백본으로 사용하며 vLLM 엔진을 통해 로컬 추론 성능을 최적화했다. 핵심 메커니즘인 엄격한 일치 기준은 제목, 저자, 학회, 연도 등 각 필드가 정답 데이터와 문자 단위로 정확히 일치해야 함을 규정하여 LLM의 유연한 추론이 환각을 허용할 위험을 방지한다. 데이터 생성 단계에서는 키워드 교체, 유창한 의역, 주제 기반 합성 등 세 가지 전략을 사용하여 단순 오타부터 의미적으로 유사한 가짜 논문까지 폭넓은 난이도를 다룬다. 시스템 효율성은 Fast-path(메모리 조회)와 Slow-path(웹/학술 DB 검색)의 분리에서 기인하며, 점진적으로 비용이 높은 단계를 밟도록 설계하여 전체 처리량을 극대화했다.

수동 인용 검증 과정이 노동 집약적이어서 데이터셋 규모 확장에 한계가 있으며, 웹 검색 에이전트가 접근할 수 없는 유료 학술지나 폐쇄형 데이터베이스의 경우 검증이 제한될 수 있다.