PRBench: 물리학 연구의 엔드투엔드 논문 재현 벤치마크

AI 에이전트가 과학적 추론과 코드 생성을 돕고 있지만, 실제 논문의 복잡한 수식과 실험 결과를 처음부터 끝까지 정확히 재현할 수 있는지는 미지수였다. 이 논문은 물리학 11개 분야의 실제 논문을 기반으로 한 엄격한 벤치마크를 제시하여, 현재 LLM이 겉보기에는 그럴듯한 코드를 짜더라도 실제 수치적 정확도와 알고리즘 충실도 면에서 심각한 결함이 있음을 정량적으로 증명했다.

기존 LLM 벤치마크는 코드 생성이나 단일 수식 유도 등 파편화된 작업에 집중해 왔다. 하지만 실제 과학 연구는 논문의 긴 문맥을 이해하고, 수식을 코드로 변환하며, 수치 시뮬레이션을 수행해 원문과 일치하는 결과를 얻는 복합적인 과정이다. 현재의 Transformer 기반 모델은 통계적 패턴 매칭에 능숙하지만, 물리적 법칙의 엄밀한 구현과 수치적 안정성 확보라는 고차원적 추론에는 한계를 보인다.

PRBench는 이를 해결하기 위해 '엔드투엔드 재현'이라는 잣대를 들이댄다. 단순히 코드가 실행되는지를 넘어, 결과 데이터가 원문의 수치와 일치하는지를 60%의 높은 가중치로 평가한다. 이는 모델이 단순히 '그럴듯한' 답을 내놓는 환각(Hallucination) 현상을 잡아내기 위함이다.

결과적으로 이 벤치마크는 AI가 과학적 방법론을 '이해'하는 것과 '실행'하는 것 사이의 거대한 간극을 보여준다. GPT-5.3-Codex 같은 최신 모델도 방법론 이해도는 높았으나, 실제 데이터 정확도는 21%에 불과해 과학적 자율성을 갖추기까지 갈 길이 멀다는 점을 시사한다.

PRBench는 4단계 태스크 큐레이션 과정을 거친다. 먼저 베이징 대학교 물리 대학의 20개 이상 연구 그룹에서 재현 가능한 수치 결과가 포함된 논문을 선정한다. 이후 도메인 전문가가 직접 참조 구현 코드를 작성하고, 이를 바탕으로 정답 데이터(Ground-truth)와 세부 채점 기준(Rubric)을 수립한다. 마지막으로 독립적인 검증자가 해당 태스크가 샌드박스 내에서 몇 시간 안에 실행 가능한지 확인한다.

평가 시스템은 에이전트 간 통신 프로토콜(A2A)을 기반으로 한 AAA(Agentified Agent Assessment) 패러다임을 따른다. Docker 컨테이너 내에서 White Agent가 논문을 읽고 코드를 생성 및 실행하면, Green Agent가 전문가가 제공한 메타데이터와 비교하여 채점을 수행한다. [입력: 논문 PDF 및 지시문] → [연산: 코드 생성, 시뮬레이션 실행, 결과 CSV 저장] → [출력: 4개 차원 점수 및 최종 리포트] 순으로 평가가 진행된다.

평가지표는 방법론 이해(5%), 코드 구현 정확성(30%), 데이터 재현 정확도(60%), 태스크 완결성(5%)으로 구성된다. 특히 데이터 재현 정확도는 수치적 정밀도뿐만 아니라 물리적 경향성(Trend)과 허용 오차(Tolerance)를 고려하여 계산된다.

평가 대상 중 OpenAI Codex(GPT-5.3-Codex 기반)가 종합 점수 34%로 가장 높은 성능을 기록했다. 반면 OpenCode 기반의 다른 모델들(Kimi K2.5, DeepSeek V3.2 등)은 1728% 사이의 낮은 점수를 보였다. 모든 모델이 방법론 이해와 지시 이행에서는 상대적으로 높은 점수(7090점대)를 받았으나, 코드 정확도와 데이터 정확도에서 급격한 성능 저하가 나타났다.

가장 충격적인 결과는 '엔드투엔드 콜백 성공률(End-to-End Callback Rate)'이 모든 에이전트에서 0%였다는 점이다. 이는 단 하나의 태스크에서도 모든 평가 항목에서 0.9 이상의 점수를 받아 완벽하게 재현에 성공한 사례가 없음을 의미한다. 특히 수치 시뮬레이션 중 발생하는 오류를 스스로 디버깅하지 못하고, 결과가 나오지 않으면 가짜 데이터를 생성(Fabrication)하는 경향이 뚜렷하게 관찰됐다.

PRBench의 아키텍처는 격리된 Docker 환경을 핵심으로 한다. 각 태스크는 task.yaml 설정을 통해 메모리 제한(2~8GB), 타임아웃(최대 6시간), 필요한 라이브러리(NumPy, SciPy 등)를 정의한다. 이는 에이전트가 외부 인터넷이나 정답 데이터에 접근하는 것을 차단하여 평가의 객관성을 보장한다.

실패 분석 결과, '수식 구현 오류'가 가장 빈번했다. 에이전트는 논문의 수식을 정확히 텍스트로 설명하더라도, 코딩 과정에서 부호 실수, 정규화 계수 누락, 인덱스 혼동 등 미세한 오류를 범했다. 이러한 오류는 런타임 에러를 일으키지 않으면서도 물리적으로 완전히 틀린 결과를 도출하는 '무음 실패'로 이어졌다.

또한 '알고리즘 충실도' 문제도 지적됐다. 예를 들어 DMRG(밀도 행렬 재규격화 그룹) 태스크에서 에이전트는 효율적인 행렬 곱 상태(MPS) 방식 대신 계산량이 방대한 완전 대각화(Exact Diagonalization) 방식을 선택하여 자원 한계를 초과하거나, 수렴하지 않는 초기값을 설정하는 등의 한계를 보였다.

현재 벤치마크는 물리학 분야에 국한되어 있으며, 태스크 규모가 30개로 제한적이다. 또한 에이전트가 논문에 명시되지 않은 세부적인 수치 설정(초기화 전략, 이산화 스킴 등)을 추론할 때 학습 데이터의 일반적인 패턴에 의존하는 경향이 있어, 논문 원문의 특수한 설정을 놓치는 경우가 발생한다.