논문 재구성 평가: AI가 작성한 논문의 표현력 및 환각 평가

AI가 논문을 대신 쓰는 시대가 오면서 그 품질과 신뢰성을 어떻게 측정할지가 중요해졌다. 이 논문은 원문을 요약한 뒤 다시 쓰게 하는 '재구성' 방식을 통해 AI의 글쓰기 실력과 거짓말(환각) 정도를 동시에 정밀 측정하는 표준을 제시한다.

LLM은 유창한 문장 생성 능력을 갖췄지만, 과학 논문처럼 고도의 논리성과 사실적 정확성이 요구되는 분야에서는 평가가 매우 어렵다. 기존의 AI 리뷰어 방식은 겉보기에 그럴듯한 논문에 높은 점수를 주는 경향이 있어, 심각한 오류나 환각을 잡아내지 못하는 한계가 있다.

이 논문은 '재구성(Reconstruction)'이라는 개념을 통해 이 문제를 해결한다. 원문 논문에서 핵심 아이디어와 데이터(표, 그림)만 추출한 뒤, AI에게 이를 바탕으로 논문을 다시 쓰게 한다. 이렇게 생성된 결과물을 원문과 직접 비교하면 AI가 구조를 얼마나 잘 잡았는지(Presentation)와 원문에 없는 내용을 지어냈는지(Hallucination)를 명확히 대조할 수 있다.

결과적으로 AI의 능력을 단순히 '좋다/나쁘다'로 나누는 것이 아니라, 창의적인 표현력과 엄격한 사실 준수라는 두 가지 축으로 분리하여 측정함으로써 AI 과학자의 신뢰성을 다각도로 검증할 수 있게 된다.

전체 프로세스는 전처리, 생성, 평가의 세 단계로 구성된다. 전처리 단계에서는 원문 논문에서 research_overview.md, LaTeX 표, 그림 캡션, 참고문헌, 소스코드를 추출하여 AI 에이전트에게 제공한다. 생성 단계에서는 Claude Code나 Codex와 같은 코딩 에이전트가 제공된 리소스를 바탕으로 템플릿에 맞춰 논문을 작성한다.

평가는 세 가지 축으로 진행된다. 첫째, 루브릭 평가에서는 GPT-5.4를 판사로 활용하여 섹션별 필수 요소 포함 여부를 1~5점으로 채점한다. [각 섹션의 루브릭 항목별 점수 입력 → 전체 항목 점수 합산 후 항목 수로 나눔 → 섹션별 최종 품질 점수 산출]. 둘째, 환각 분석은 2단계로 이루어지는데, 문장에서 검증 가능한 주장을 추출한 뒤 코딩 에이전트가 원문 리소스를 직접 검색하고 대조한다. [추출된 개별 주장 입력 → 원문 리소스와의 대조 연산 수행 → 일치/중립/모순 판정 → 최종 환각 횟수 산출]. 셋째, 인용 정확도는 원문과 생성문의 인용 키를 비교하여 F1-score를 계산한다.

Claude Code(Sonnet 4.6 기반)는 모든 섹션에서 Codex보다 높은 루브릭 점수(평균 3.86점)를 기록하며 뛰어난 표현력을 보였다. 그러나 논문당 평균 10회 이상의 주요 환각(Major Hallucination)을 일으켜 정확성 면에서는 취약점을 드러냈다. 반면 Codex(GPT-5.4 기반)는 표현력 점수는 낮았으나 환각 횟수를 약 3회 수준으로 억제하며 더 높은 사실적 신뢰도를 보여주었다.

모델 성능이 향상될수록 논문 작성 능력도 전반적으로 개선됨이 확인되었다. 특히 더 상세한 연구 개요(Long Overview)를 입력으로 제공할 경우 표현 품질은 높아지고 환각 발생률은 낮아지는 결과가 나타났다. 분야별로는 NLP 논문이 수학적 복잡도가 상대적으로 낮아 가장 높은 성능을 기록했다.

PaperRecon의 핵심은 '에이전트 기반 검증'이다. 단순한 텍스트 유사도 비교가 아니라, 검증 에이전트가 원문의 LaTeX 소스, 그림, 표, 코드베이스를 직접 읽고 판단하게 함으로써 환각 탐지의 정밀도를 높였다. 특히 1단계에서 LLM이 모순으로 분류한 항목을 2단계에서 코딩 에이전트가 재검증하여 오탐(False Positive)을 최소화하는 구조를 채택했다.

루브릭 생성 과정에서도 자동화와 인간의 검수를 결합했다. GPT-5.4가 원문을 분석해 섹션별 핵심 평가 항목을 생성하고, 이를 저자들이 직접 검수하여 고품질의 평가 기준을 마련했다. 또한 섹션 분류 시 키워드 기반 규칙과 LLM 분류를 병행하여 서로 다른 논문 구조를 7개의 공통 카테고리로 매핑하는 알고리즘을 구현했다. 인용 분석 시에는 참고문헌 파일의 초록 정보를 활용해 에이전트가 문맥에 맞는 인용을 수행하도록 유도했다.

제어된 입력값(표, 그림 등)이 완벽하다는 가정하에 평가가 이루어지므로 실제 데이터 추출 과정의 오류는 반영하지 못한다. 또한 인간의 다양한 글쓰기 스타일을 루브릭만으로 완전히 포착하기 어렵고, 현재는 영어 논문에 최적화되어 있다.