PRL-BENCH: 최첨단 물리학 연구 역량 평가를 위한 대규모 언어 모델 벤치마크

기존 AI 벤치마크가 단순 지식 암기나 단기 추론에 집중했다면, 이 논문은 실제 물리 연구처럼 긴 호흡의 탐색과 복잡한 계산이 필요한 환경에서 LLM의 한계를 측정한다. 이를 통해 자율적인 AI 과학자 시스템 구축을 위한 핵심 병목 지점이 도메인 지식 부족과 장기 추론의 불안정성임을 명확히 제시한다.

기존의 LLM 평가는 주로 Transformer 아키텍처가 학습 데이터 내의 패턴을 얼마나 잘 복제하는지 확인하는 closed-form 문제에 치중되어 있었다. 하지만 실제 과학 연구는 정해진 정답 경로가 없으며, 초기 가설 설정부터 수식 유도, 수치 검증까지 이어지는 긴 추론 체인(Reasoning Chain)을 유지해야 한다. PRL-BENCH는 이러한 '에이전트적 과학(Agentic Science)' 역량을 측정하기 위해 설계되었다.

논문은 물리 연구의 핵심을 '탐색 기반의 공식화'와 '장기 워크플로우'로 정의한다. 모델은 단순히 물리 법칙을 암기하는 것이 아니라, 주어진 문제 상황에서 적절한 이론적 프레임워크를 선택하고 중간 결과를 도출하며 이를 반복적으로 수정해야 한다. 이는 Gradient Descent가 손실 함수를 줄여나가듯, 연구자가 불확실성을 줄여나가는 과정을 모사한 것이다.

결과적으로 이 벤치마크는 LLM이 단순한 계산 도구를 넘어 자율적인 연구 파트너로 진화하기 위해 필요한 '전략적 계획'과 '도메인 특화 지식의 정밀도'라는 두 가지 핵심 축에서의 격차를 수치화하여 보여준다.

PRL-BENCH는 Physical Review Letters(PRL) 135권 7호부터 136권 10호까지 수록된 논문 중 이론 유도와 수치 계산이 중심인 100편을 엄선하여 구성했다. 각 태스크는 동기 부여, 핵심 과제, 정답 및 채점 기준(Rubrics), 상세 풀이의 4개 구성 요소로 이루어지며, 10명 이상의 물리 전문가가 교차 검증을 수행했다.

평가 프로세스는 LLM-as-a-judge 방식을 채택했다. 모델이 제출한 결과값 y_pred와 정답 y_true를 비교할 때, 단순 일치 여부뿐만 아니라 중간 단계의 논리적 타당성을 Rubrics에 따라 점수화한다. 구체적으로 [모델의 중간 유도 과정 입력] → [Rubrics의 체크포인트와 비교 연산] → [단계별 점수 합산] → [0-100 사이의 정규화된 최종 점수 도출] 과정을 거친다.

실험에서는 GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.6 등 6종의 프론티어 모델을 대상으로 Code Interpreter 접근 권한을 부여한 상태에서 5회 반복 실행하여 평균값을 산출했다. 검색 도구는 정보 유출 방지를 위해 차단된 상태에서 순수 추론 능력을 측정했다.

실험 결과, Gemini-3.1-Pro가 44.27점으로 가장 높은 성능을 보였으나 모든 모델이 50점 미만에 머물렀다. Qwen-3.5-Plus(40.05점)가 2위를 기록했으며, GPT-5.4(37.38점)와 Claude-Opus-4.6(37.40점)은 중위권을 형성했다. 특히 천체물리학(Astro)과 통계물리학(Stat) 분야에서 모델들의 성능이 상대적으로 낮게 나타났다.

오류 분석 결과, 전체 실패 사례의 45~55%가 '개념 및 수식 오류(Formulaic/Conceptual error)'에 해당했다. 이는 모델이 고급 이론 물리 지식을 충분히 내재화하지 못했음을 의미한다. Claude-Opus-4.6의 경우 '미완성 또는 미지원 응답(Incomplete)' 비율이 63.93%로 매우 높게 나타났는데, 이는 장기 추론 과정에서 일관성을 유지하지 못하고 중도에 포기하는 경향을 보여준다.

PRL-BENCH는 물리 연구의 복잡성을 반영하기 위해 태스크를 독립적인 하위 과제(Subtasks)의 시퀀스로 구조화했다. 이는 오류 전파(Error Propagation)를 완화하면서도 모델의 역량 경계를 세밀하게 측정하기 위함이다. 각 하위 과제는 수치 데이터, 분석 공식, 또는 이산적 판단을 정답으로 요구하며, 이는 재현 가능한 평가를 보장한다.

모델의 실패 유형은 네 가지로 분류된다: 1) 부적절한 이론 모델 선택(Formulaic), 2) 유도 과정에서의 논리적 비약이나 환각(Derivation), 3) 대수적 또는 수치적 계산 실수(Calculation), 4) 장기 컨텍스트 관리 실패로 인한 답변 누락(Incomplete). 연구진은 특히 '유도 오류'가 이론 집약적인 고에너지 물리학(HEP) 분야에서 두드러지게 나타남을 확인했으며, 이는 다단계 기호 추론의 불안정성을 시사한다.

객관적 평가를 위해 실제 연구 환경보다는 더 풍부한 배경 정보를 제공했기 때문에, 실제 연구의 핵심인 '가설 설정 및 거짓 가설 기각' 과정을 완전히 반영하지는 못했다. 또한 5개 분야로의 분류는 상호 배타적이지 않아 다학제적 연구의 특성을 완벽히 포착하기 어렵다는 한계가 있다.