$OneMillion-Bench: 언어 에이전트는 인간 전문가와 얼마나 떨어져 있는가?

왜 중요한가

기존 벤치마크가 시험 문제 풀이 수준에 머물러 있는 한계를 극복하기 위해, 실제 산업 현장의 고부가가치 업무를 기반으로 에이전트의 성능을 평가한다. 법률, 금융, 의료 등 5대 전문 분야에서 2,000시간 이상의 전문가 투입을 통해 구축되었으며, 에이전트가 창출하는 결과물을 실제 노동 비용으로 환산하여 경제적 숙련도를 정량화한다.

핵심 기여

경제적 가치 기반 평가 체계

전문가의 시간당 임금과 작업 소요 시간을 곱해 각 과제에 실제 화폐 가치를 부여하고 에이전트의 수익 창출 능력을 측정한다.

5대 전문 도메인 포괄

금융, 법률, 의료, 자연과학, 산업 분야의 400개 고난도 과제를 통해 에이전트의 전문 지식 활용 능력을 검증한다.

루브릭 기반 다차원 평가

단순 정답 여부를 넘어 사실 정확성, 논리적 일관성, 실무적 타당성, 전문 규정 준수 여부를 세밀하게 채점한다.

이중 언어 및 지역 특화 데이터셋

영어와 중국어 각 200개 과제로 구성되며, 특히 중국 데이터셋은 현지 규제와 산업 표준을 반영하여 구축됐다.

핵심 아이디어 이해하기

기존의 LLM 평가는 주로 MMLU나 HumanEval처럼 정답이 명확한 객관식 시험이나 코드 생성에 집중되어 왔다. 하지만 실제 전문직 업무는 단순한 지식 인출이 아니라, 복잡한 제약 조건 하에서 다단계 추론(Multi-step reasoning)과 도구 활용을 통해 구체적인 결과물(Deliverables)을 만들어내는 과정이다. 이 논문은 에이전트의 능력을 '시험 점수'가 아닌 '경제적 가치'라는 척도로 재정의하여 실무 투입 가능성을 진단한다.

에이전트가 과제를 수행할 때, 단순히 텍스트를 생성하는 것을 넘어 권위 있는 출처를 검색하고, 상충하는 증거를 조정하며, 도메인별 규칙을 적용하는 능력을 평가한다. 이는 딥러닝의 임베딩 공간에서 유사한 정보를 찾는 수준을 넘어, 논리적 추론 체인(Chain-of-Thought)이 실제 전문가의 사고 과정과 얼마나 일치하는지를 루브릭(Rubric)이라는 필터를 통해 검증하는 원리다.

결과적으로 이 벤치마크는 에이전트가 단순히 '똑똑한지'가 아니라 '돈값을 하는지'를 보여준다. 예를 들어 특정 법률 검토 과제를 수행한 에이전트의 결과물이 전문가 수준의 70%에 도달했다면, 해당 에이전트는 그 과제에 할당된 전문가 비용의 일부를 실제로 대체하거나 보조할 수 있는 경제적 숙련도를 갖췄음을 의미한다.

방법론

데이터 구축은 과제 생성, 피어 리뷰, 최종 조정 및 수정의 3단계 파이프라인을 거친다. 도메인 전문가가 실제 업무 시나리오를 설계하고, 이에 대응하는 상세 채점 루브릭과 참조 답변을 작성한다. 이때 과제가 너무 쉽거나 불가능한 수준이 되지 않도록 SOTA 모델을 활용한 역검증(Adversarial Validation)을 수행하여 변별력을 확보한다.

경제적 가치 산출은 V = T_ExpertCost × W_HourlyWage 공식을 사용한다. [전문가 작업 시간과 시간당 임금을 입력으로] → [두 값을 곱하는 연산을 수행해] → [화폐 가치 결과를 얻고] → [해당 과제의 경제적 중요도를 의미한다]. 미국 노동통계국(BLS) 데이터와 중국 1선 도시의 임금 가이드라인을 기준으로 표준화된 시간당 비용을 도출하며, 복리후생 비용을 포함한 총 보상액을 반영하여 현실적인 노동 가치를 계산한다.

전문가 점수(Expert Score)는 각 과제에 할당된 루브릭 세트에 대해 가중치와 획득 점수를 사용하여 계산한다. [Σ(sr) / Σ(wr)] 연산을 통해 0에서 1 사이의 점수를 산출하며, 특히 산업 규정 위반이나 환각(Hallucination) 발생 시 -20점에서 10점 사이의 비대칭 가중치를 적용하는 네거티브 루브릭(Negative Rubrics) 시스템을 도입하여 실무적 안정성을 엄격히 평가한다.

주요 결과

전체 35개 모델 평가 결과, Claude-Opus-4.6이 글로벌 및 중국 데이터셋 모두에서 가장 높은 전문가 점수와 통과율(Pass Rate)을 기록하며 선두를 차지했다. 특히 웹 검색 기능을 활성화했을 때 성능 향상 폭이 가장 컸으며, 이는 고난도 전문 과제에서 실시간 정보 검색과 통합 능력이 핵심임을 시사한다.

웹 검색은 '양날의 검'으로 나타났다. 금융이나 의료 분야처럼 구체적인 사실 확인이 필요한 과제에서는 성능을 높였으나, 복잡한 논리적 추론이 중심인 과제에서는 오히려 노이즈가 섞인 정보를 가져와 추론 체인을 방해함으로써 점수가 하락하는 사례가 관찰됐다.

딥 리서치(Deep Research) 전용 에이전트들은 일반적인 검색 강화 모델들에 비해 경쟁력 있는 성능을 보였으나, 압도적인 우위를 점하지는 못했다. 이는 현재의 에이전트 기술이 긴 호흡의 연구 과제에서 일관된 논리성과 규정 준수 능력을 유지하는 데 여전히 한계가 있음을 보여준다.

기술 상세

$OneMillion-Bench는 단순한 QA를 넘어 '에이전트적 신뢰성(Agentic Reliability)'을 측정하기 위해 설계됐다. 아키텍처 측면에서 웹 검색, 추론, 언어화, 지시 이행의 4가지 핵심 역량을 독립적으로 평가할 수 있는 태그 시스템을 루브릭에 결합했다.

수학적 기반인 Expert Score는 가중 평균 방식을 취하되, 실무 환경의 위험 요소를 반영하기 위해 감점 요소를 강화한 것이 특징이다. 이는 손실 함수(Loss Function) 설계 시 오답에 대한 페널티를 크게 부여하여 모델이 보수적이고 정확한 답변을 생성하도록 유도하는 것과 유사한 논리를 평가 체계에 이식한 것이다.

기존의 GPQA나 MMLU-Pro와 비교했을 때, 본 벤치마크는 정적인 지식 평가에서 벗어나 동적인 워크플로우(Workflow) 내에서의 의사결정 능력을 검증한다. 특히 시간 민감도(Diachronical Analysis) 분석을 통해 모델이 학습 데이터에 포함되지 않은 최신 정보나 변화하는 상황에 얼마나 유연하게 대응하는지 측정한다.

한계점

현재 5개 도메인에 한정되어 있어 에너지, 기후 과학, 공공 정책 등 다른 고부가가치 분야를 모두 포괄하지 못한다. 또한 루브릭 기반 평가가 사람이 직접 수행하는 것보다는 객관적이지만, 여전히 평가 모델(Judge Model)의 편향이나 능력에 의존하는 한계가 있다.

실무 활용

기업이나 연구소에서 특정 도메인(금융, 법률 등)에 특화된 AI 에이전트를 도입하기 전, 실질적인 업무 대체 가능성과 경제적 효용성을 검증하는 도구로 활용할 수 있다.

금융 투자 분석 에이전트의 보고서 작성 능력 및 경제적 가치 평가
법률 준수(Compliance) 검토 에이전트의 규정 준수 신뢰도 측정
의료 진단 보조 에이전트의 임상 가이드라인 적용 정확도 검증
산업 공정 설계 에이전트의 기술적 타당성 분석

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM(대형 언어 모델)AI Agent(AI 에이전트)Benchmark(벤치마크)Expert Evaluation(전문가 평가)Economic Value(경제적 가치)

용어 해설

다단계 추론(Multi-step Reasoning): — 복잡한 문제를 해결하기 위해 정보를 순차적으로 처리하고 중간 결론을 도출하며 최종 답안에 도달하는 사고 과정이다. 에이전트가 단순 답변을 넘어 실행 계획을 세우고 수정하는 데 필수적이다.
루브릭 기반 평가(Rubric-based Evaluation): — 미리 정의된 세부 채점 기준(루브릭)에 따라 결과물의 품질을 다각도로 측정하는 방식이다. 단순 정답 여부보다 논리성, 형식, 전문성 등 정성적 요소를 객관화하는 데 중요하다.
에이전트적 신뢰성(Agentic Reliability): — AI 에이전트가 주어진 과제를 수행할 때 일관된 성능을 유지하고, 제약 조건을 준수하며, 오류 없이 목표를 달성하는 능력을 의미한다. 실무 투입을 위한 핵심 지표다.
네거티브 루브릭(Negative Rubrics): — 잘못된 정보 제공이나 규정 위반 등 치명적인 오류에 대해 가중치가 높은 감점을 부여하는 채점 방식이다. 모델의 안전성과 전문적 윤리를 엄격히 관리하기 위해 사용된다.

$OneMillion-Bench: 언어 에이전트는 인간 전문가와 얼마나 떨어져 있는가?

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

실제 업무를 끝내는 Agent의 조건

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

실제 업무를 끝내는 Agent의 조건

최종 점수를 넘어선 장기 AI 연구 에이전트 평가