FactReview: 문헌 위치 파악 및 실행 기반 주장 검증을 통한 증거 기반 논문 심사

기존 AI 기반 논문 심사 시스템은 논문의 텍스트만 분석하여 저자의 주장을 그대로 수용하는 한계가 있었다. FactReview는 외부 문헌과 실제 소스 코드를 활용해 실험 수치를 직접 검증함으로써 AI가 단순한 요약 도구를 넘어 신뢰할 수 있는 증거 수집 도구로 진화할 수 있음을 보여준다.

기존의 LLM 기반 논문 심사는 텍스트 임베딩(Embedding) 공간 내에서 논문의 서술 방식에만 의존하기 때문에, 저자가 화려한 수식이나 수사법을 사용하면 실제 기술적 기여도보다 높게 평가하는 경향이 있다. 이는 모델이 논문 내부의 논리적 일관성만 확인할 뿐, 외부의 실제 데이터나 코드와 대조하는 'Grounding' 과정이 결여되어 있기 때문이다.

FactReview는 이 문제를 해결하기 위해 주장을 원자 단위로 분해하고 각 단위에 대해 외부 증거를 연결한다. 예를 들어 '모든 작업에서 성능이 향상되었다'는 주장이 있다면, 이를 개별 데이터셋과 지표별로 쪼갠 뒤 실제 코드를 실행하여 얻은 숫자와 대조한다. 이는 딥러닝 모델이 학습 데이터의 통계적 패턴에만 의존하지 않고, 외부 도구(Code Execution)를 사용하여 사실 관계를 확인하는 'Tool-use' 개념을 논문 심사에 적용한 것이다.

결과적으로 FactReview는 논문이 주장하는 성능 수치가 실제 재현 가능한지, 그리고 그 성능 향상이 기존 문헌의 베이스라인보다 정말 우수한지를 수치적으로 입증한다. 이는 AI 심사위원이 저자의 주장을 맹목적으로 믿지 않고, 객관적인 증거 리포트를 생성하여 인간 심사위원이 더 정확한 판단을 내릴 수 있도록 돕는 역할을 수행하게 한다.

FactReview는 크게 네 단계의 워크플로우로 구성된다. 첫째, 문서 파싱 및 주장 추출 단계에서는 논문의 구조를 분석하여 주요 주장, 보고된 결과, 사용된 데이터셋 및 베이스라인 정보를 추출한다. 둘째, 문헌 위치 파악 단계에서는 인용된 논문과 의미적으로 유사한 논문을 검색하여 해당 연구의 기술적 위치를 정의한다.

셋째, 실행 기반 주장 검증 단계에서는 공개된 GitHub 저장소를 활용한다. [저장소 URL을 입력으로] → [샌드박스 환경 구축 및 README 기반 작업 리스트 생성 연산을 수행해] → [실제 실험 실행 결과 수치를 얻고] → [이 값이 논문에 기재된 수치와 일치하는지 확인한다]. 이 과정에서 환경 설정 오류나 경로 수정 등 최소한의 수리(Repair)를 수행하며, 모델 아키텍처나 손실 함수 등 핵심 로직은 변경하지 않는다.

마지막으로 주장 라벨링 및 리뷰 합성 단계에서는 수집된 모든 증거를 종합한다. 외부 증거가 주장을 직접 뒷받침하면 'Supported', 논문 내 논리는 타당하나 외부 검증이 불가능하면 'Supported by the paper', 일부 결과만 재현되면 'Partially supported' 등의 라벨을 부여하고 최종 증거 보고서를 생성한다.

CompGCN 논문을 대상으로 한 사례 연구에서 FactReview는 링크 예측(Link Prediction)과 노드 분류(Node Classification) 작업의 결과가 논문 보고치와 거의 일치함을 확인했다. 예를 들어 FB15k-237 데이터셋에서 논문은 MRR 0.355를 보고했으나, 실제 실행 결과 0.352를 얻어 주장이 타당함을 입증했다.

그러나 '모든 작업에서 성능이 우수하다'는 포괄적 주장에 대해서는 한계를 찾아냈다. MUTAG 그래프 분류 작업에서 재현된 정확도는 88.4%였으나, 논문에 기재된 강력한 베이스라인 수치는 92.6%로 나타났다. 이에 따라 FactReview는 해당 주장을 'Supported'가 아닌 'Partially supported'로 하향 조정하여 더 정밀한 리뷰를 제공했다.

백엔드 모델 성능 분석 결과, Claude Opus 4.6이 83.3%의 검증 성공률로 가장 우수했으며 GPT-5.4(75.0%)가 그 뒤를 이었다. 모델의 크기가 작아질수록(Haiku, GPT-4o 등) 코드 실행 및 결과 해석의 정확도가 급격히 떨어지는 경향을 보여, 복잡한 논문 검증에는 고성능 추론 모델이 필수적임이 확인됐다.

FactReview는 단순한 텍스트 생성이 아닌 '증거 기반 주장 검증(Evidence-Grounded Claim Verification)' 아키텍처를 채택했다. 시스템은 DeepReview v2를 기반으로 하여 주장을 세분화된 검증 단위로 분해하며, 각 단위는 데이터셋, 메트릭, 스코프 정보를 포함한다. 실행 모듈은 상태 저장 워크플로우(Stateful Workflow)를 통해 환경 복구, 작업 계획, 실행 추적을 수행한다.

기술적 차별점은 'Bounded Repair' 메커니즘에 있다. 이는 종속성 설치나 경로 수정과 같은 환경적 문제는 해결하되, 연구의 핵심인 알고리즘 자체는 수정하지 않음으로써 검증의 보수성을 유지한다. 또한, 결과 해석 단계에서 수치가 완벽히 일치하지 않더라도 논문의 로컬 랭킹 패턴(어떤 모델이 더 우수한지 등)이 유지되는지를 분석하여 판단의 유연성을 확보한다.

현재 시스템은 이론 중심의 논문이나 데이터셋이 공개되지 않은 논문에는 적용하기 어렵다. 또한, 실행 기반 검증은 환경 구축 실패(Artifact-level), 실행 오류(Execution-level), 결과 매핑 실패(Interpretation-level) 등 다양한 실패 모드에 노출되어 있으며, 특히 복잡한 하드웨어 요구사항이나 긴 학습 시간이 필요한 실험은 제한된 예산 내에서 검증하기 어렵다.