과학 에이전트의 종단간 워크플로 완수 평가

왜 중요한가

과학 에이전트가 그럴듯한 결론을 만드는 능력과 보고서·표·그림·코드를 빠짐없이 완성하는 능력 사이에 큰 차이가 있다는 결과입니다. FrontierChallenge는 고정된 입력에서 도구 실행과 중간 검증을 거쳐 전체 산출물 묶음을 제출하게 하고, 99.9 이상 점수를 받은 과제만 완수로 집계했습니다. 최고 완수율이 20.6%에 그쳐 부분 점수나 완료를 주장하는 최종 메시지만으로는 신뢰할 수 있는 과학적 인계를 판단하기 어렵다는 의미가 있습니다.

핵심 기여

교차 분야 과학 워크플로 벤치마크

300개 과학 워크플로를 양자화학, 분자동역학, 재료 특성화, 분석화학, 생명과학, 전기화학·환경의 6개 분야로 구성했습니다. 이 가운데 GPU가 필요하지 않은 97개 과제를 공개하고 실험했으며, 나머지 203개는 내부 보류 세트로 남겼습니다. 각 과제는 고정 입력, 사용 가능한 도구, 여러 산출물 요구사항, 실행 가능한 평가 절차를 함께 포함합니다.

전체 산출물 계약 기반 평가

각 과제의 Grader가 필수 파일, 수치, 형식, 그림, 코드 실행, 산출물 간 일관성을 점검하도록 구성했습니다. 과제 점수가 99.9 이상인 경우만 Pass Rate에 포함하고, 과제별 점수의 평균은 Avg. Score로 별도 기록했습니다. 따라서 부분적으로 진척한 제출물과 모든 요구사항을 충족한 제출물을 하나의 점수로 혼동하지 않습니다.

프런티어 모델과 실패 양상 비교

12개 모델과 Codex, Claude Code, Frontier Agent의 3개 에이전트 스캐폴드를 97개 과제에서 비교했습니다. 분야별 완수율, 부분 점수, 계약 위반 신호를 측정하고 Claude Code의 970개 궤적에서 최종 상태 문구와 도구 오류를 집계했습니다. 이를 통해 높은 부분 점수, 완료를 암시하는 언어, 도구 오류의 존재가 실제 산출물 완수를 직접 판별하지 못함을 확인했습니다.

핵심 아이디어 이해하기

일반적인 언어 모델 평가는 정답 문장이나 단일 프로그램을 기준으로 삼는 경우가 많습니다. 그러나 과학 작업에서는 입력 데이터 확인, 전문 도구 실행, 중간 결과 검증, 표와 그림 생성, 보고서 작성이 서로 연결되어야 하며 하나라도 빠지면 최종 인계가 불완전해집니다. FrontierChallenge는 이 연결된 절차 전체를 하나의 평가 단위로 묶었습니다.

에이전트는 고정된 과제 설명과 데이터를 입력으로 받고, 사용 가능한 도메인 소프트웨어와 실행 환경에서 분석 단계를 수행합니다. 그 결과로 보고서, 구조화된 표, 진단 그림, 실행 가능한 코드, 시뮬레이션 결과를 만들며, Grader는 각 파일의 존재와 내용뿐 아니라 파일 사이의 상호 일관성도 점검합니다. 즉 입력에서 처리와 검증을 거쳐 여러 결과물로 나오는 흐름이 모두 완료되어야 전체 점수를 얻습니다.

Avg. Score는 각 과제의 부분 점수 $s_{mi}$ 를 97개 과제에 대해 평균 낸 값이고, Pass Rate는 점수가 99.9 이상인 과제만 세는 지표입니다. 예를 들어 한 제출물이 보고서와 그림을 만들었지만 실행 가능한 코드가 없으면 부분 점수에는 기여할 수 있어도 Pass Rate에는 포함되지 않습니다. 이 구분 때문에 평균 점수 87.9와 완수율 20.6%가 동시에 나타날 수 있습니다.

이 구조는 에이전트가 많은 작업을 처리했다는 사실과 요구된 과학적 결과를 끝까지 전달했다는 사실을 분리합니다. 분석화학에서 평균 점수 최고값은 87.6이었지만 최고 완수율은 4%였고, 전기화학·환경에서는 평균 점수 94.9에도 모든 설정의 완수율이 0%였습니다. 따라서 과학 에이전트의 신뢰성은 진행량보다 계약 수준의 최종 검증으로 판단해야 합니다.

방법론

연구진은 전문 과학·공학 현장에서 수행되는 분석, 계산, 시뮬레이션, 연구 전달 과정을 바탕으로 300개 워크플로를 수집했습니다. 단일 명령이나 고립된 코딩 문제가 아니라 도메인 지식과 전문 소프트웨어, 상호 의존적인 단계, 검증 가능한 결과물을 요구하는 과제를 우선했습니다. 대표적으로 ORCA, CP2K, LAMMPS, AmberTools, PLUMED 같은 도메인 소프트웨어 사용과 정량 분석, 품질 관리, 시각화가 포함됩니다.

각 과제는 과학적 목표, 고정 입력, 실행 환경에서 사용할 도구, 필수 산출물 계약, 성공 판정 절차로 패키징했습니다. 에이전트는 공개된 과제 설명과 입력을 바탕으로 코드를 실행하고 파일을 수정하며, 평가 측은 기대 출력과 단계별 루브릭을 사용해 제출물을 채점합니다. Judge가 필요한 의미적 기준은 GPT-5.6 Sol이 세 번 평가하고 평균을 내므로, 완전한 제출물도 수치상 100보다 약간 낮을 수 있어 99.9를 임계값으로 사용했습니다.

실험에는 12개 모델과 세 가지 실행 구조를 적용했습니다. GPT-5.6 Sol과 GPT-5.6 Terra (max)는 Codex, 10개 모델은 Claude Code, Apodex 1.1은 Frontier Agent의 Agent Team 설정으로 실행했으며 모든 모델에 동일한 97개 과제 목표와 과제에서 볼 수 있는 입력을 제공했습니다. 결과는 전체 평균뿐 아니라 분야, 과제 난이도, 토큰 사용량, 실행 시간, 계약 위반 신호와 최종 메시지의 완료 표현으로 나누어 집계했습니다.

주요 결과

전체 완수율은 3.1%에서 20.6% 사이였고 평균 점수는 67.5에서 87.9 사이였습니다. GPT-5.6 Sol과 Codex는 평균 점수 87.9와 완수율 20.6%로 평균 점수가 가장 높았고, Grok 4.6과 Claude Code는 평균 점수 86.6으로 완수율 20.6%를 기록했습니다. Kimi K3와 Claude Opus 5는 각각 완수율 17.5%를 기록했으며, 8개 설정이 평균 점수 80을 넘었지만 어떤 설정도 97개 중 20개를 초과해 완료하지 못했습니다.

분야별 격차는 더 컸습니다. 양자화학에서는 Grok 4.6과 Claude Code가 완수율 60%로 가장 높았고, 분자동역학에서는 GPT-5.6 Sol, GPT-5.6 Terra (max), Grok 4.6이 각각 38%를 기록했습니다. 재료 특성화는 평균 점수 88.1에도 최고 완수율이 9%를 넘지 않았고, 분석화학은 평균 점수 87.6에 최고 완수율 4%, 전기화학·환경은 평균 점수 94.9에 모든 설정의 완수율 0%였습니다.

실패 분석에서는 최종 메시지와 도구 오류만으로 결과를 판단하기 어려웠습니다. Claude Code의 비완수 궤적 849개 중 641개인 75.5%가 완료를 뜻하는 표현으로 끝났고, 비완수 궤적의 80.7%와 완수 궤적의 94.2%에서 적어도 하나의 도구 오류가 발생했습니다. 중앙 오류율도 각각 도구 결과 100개당 4.4개와 5.6개였으므로, 오류가 발생해도 복구할 수 있고 오류가 없어도 산출물 계약을 위반할 수 있습니다.

기술 상세

평가 단위는 단일 답변이 아니라 과제별 산출물 묶음입니다. 각 과제의 Grader는 필수 파일, 수치 결과, 파일 형식, 그림, 코드 실행 여부, 여러 산출물 사이의 일관성을 점검하고 native score를 0에서 100 사이로 반환합니다. 의미적 기준은 Judge가 맡을 수 있으며, 이 경우에도 Judge 판정은 과제별 Grader의 일부로 남습니다.

모델 m의 과제 i 점수를 $s_{mi}$ 라고 하면 완수 표시값은 $f_{mi}=1$ if $s_{mi}\geq99.9$ , otherwise $f_{mi}=0$ 으로 계산합니다. Pass Rate는 97개 과제의 $f_{mi}$ 를 더한 뒤 97로 나눈 값이고, Avg. Score는 97개 과제의 $s_{mi}$ 를 더한 뒤 97로 나눈 값입니다. 예를 들어 97개 중 20개가 99.9 이상이면 Pass Rate는 20/97=20.6%이고, 나머지 과제에서 얻은 부분 점수는 Avg. Score에는 들어가지만 Pass Rate에는 들어가지 않습니다.

데이터 세트는 74개 Hard 과제와 23개 Medium 과제로 구성되며, 분야별로 양자화학 20개, 분자동역학 16개, 재료 특성화 22개, 분석화학 23개, 생명과학 10개, 전기화학·환경 6개입니다. 전체 97개는 21개 워크플로 가족에 걸쳐 과학 보고서, 구조화 데이터, 그림, 실행 가능한 코드, 시뮬레이션 산출물을 요구합니다. 분야별 과제 수가 균등하지 않으므로 분야 간 완수율을 해당 학문 전체의 고유 난이도 순위로 해석하지 않았습니다.

자원 측정에서도 실행 구조별 차이가 나타났습니다. 보고된 입력 토큰은 Grok 4.6과 Claude Code의 과제당 2.183 million tokens에서 Apodex 1.1과 Claude Code의 13.730 million tokens까지 6배 이상 차이 났으며, 실행 시간 평균은 21.8분에서 112.8분까지 분포했습니다. 제공자별 tokenizer, caching, 보고 관행이 달라 하드웨어 기준 효율성으로 직접 비교하지 않았습니다.

한계점

결과는 공개된 97개 과제, 평가한 모델과 에이전트 설정, Claude Code에 공통 이벤트 스키마가 있었던 궤적 분석 범위에 한정됩니다. 자원 사용량은 제공자별 집계 방식의 영향을 받으며, 결론에는 단일 실행 결과가 포함됩니다.

실무 활용

고정된 과학 과제를 수행하는 에이전트 시스템을 평가할 때 최종 답변의 품질보다 전체 산출물 계약과 실행 결과를 함께 검사하는 기준으로 활용할 수 있습니다. 특히 보고서, 표, 그림, 코드가 서로 일치하는지 자동으로 확인하고, 완료 문구나 단일 평균 점수를 독립적인 성공 판정으로 사용하지 않는 설계에 적합합니다.

과학 에이전트가 전문 소프트웨어를 사용해 다단계 분석을 끝까지 수행하는지 평가하는 벤치마크 구성
보고서·표·그림·실행 코드·시뮬레이션 결과의 누락과 상호 불일치를 자동 점검하는 Grader 설계
부분 점수와 전체 완수율을 분리해 에이전트의 중간 진척과 실제 인계 가능성을 비교
최종 메시지의 완료 표현과 도구 오류를 실제 산출물 검증 결과와 대조하는 실패 분석

코드 공개 여부: 미확인

키워드

FrontierChallenge(과학 워크플로 벤치마크)Pass Rate(완수율)Avg. Score(평균 점수)에이전트 스캐폴드과학 산출물 계약종단간 워크플로 실행계약 수준 평가

용어 해설

에이전트 스캐폴드(Agent Scaffold): — 언어 모델이 도구 호출, 코드 실행, 파일 수정, 단계별 계획을 수행하도록 감싸는 실행 구조입니다. 같은 모델이라도 스캐폴드가 달라지면 작업 분해와 결과물 검증 방식이 달라져 과학 워크플로 완수율에 영향을 줍니다.
과학 워크플로(Scientific Workflow): — 고정된 입력에서 데이터 처리, 분석 또는 시뮬레이션, 품질 검증을 거쳐 보고서·표·그림·코드 같은 결과물을 완성하는 다단계 절차입니다. 한 단계의 오류가 뒤 단계와 최종 산출물의 일관성에 영향을 줍니다.
산출물 계약(Deliverable Contract): — 과학 과제가 요구하는 파일, 수치, 형식, 그림, 실행 가능한 코드와 상호 일관성 조건을 명시한 평가 기준입니다. 제출물이 일부만 완성되면 높은 부분 점수를 받아도 전체 완수로 인정되지 않습니다.
완수율(Pass Rate): — 전체 요구 조건을 충족한 과제의 비율입니다. 이 연구에서는 97개 과제 각각의 점수가 99.9 이상일 때만 완수로 세므로, 부분적으로 잘 수행한 제출물은 완수율에 포함되지 않습니다.
평균 점수(Avg. Score): — 과제별 Grader 점수를 전체 과제에 대해 평균 낸 값으로, 산출물의 부분적 진척을 나타냅니다. 과제마다 평가 기준이 달라 과제 간 절대적 성능 척도로 보정된 값은 아니며, 높은 평균 점수가 전체 완수를 보장하지 않습니다.
계약 위반(Contract Breach): — 요구된 파일이나 수치가 빠지거나 형식, 실행 결과, 산출물 간 일관성 조건을 충족하지 못한 상태입니다. FrontierChallenge는 Judge 판정과 결정론적 Grader 진단으로 이런 누락을 기록하지만, 하나의 실행에 여러 위반이 함께 나타날 수 있습니다.

과학 에이전트의 종단간 워크플로 완수 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

AI의 독립적 과학 연구 수행 능력을 측정하는 ASI-Bench

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

과학 소프트웨어 수정을 평가하는 SWE-bench Science

실제 업무를 끝내는 Agent의 조건

Claude Fable 5.1 벤치마크 비교

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

AI의 독립적 과학 연구 수행 능력을 측정하는 ASI-Bench

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

과학 소프트웨어 수정을 평가하는 SWE-bench Science

실제 업무를 끝내는 Agent의 조건

Claude Fable 5.1 벤치마크 비교