HealthAgentBench: 실제적 에이전트형 의료 환경을 위한 통합 벤치마크 스위트

이 연구는 에이전트형 AI가 임상 워크플로 전반을 자율적으로 수행할 수 있는지를 실세계에 가깝게 측정하는 도구를 구축했다. 대규모·다중모달 환자 데이터를 직접 탐색하고 도구를 호출해 작업을 완료하는 능력이 임상 적용의 핵심인 만큼, 단발성 QA 벤치마크로는 평가할 수 없는 능력을 검증할 수 있다. 벤치마크 결과는 최첨단 모델조차 주요 의료 과제에서 낮은 성공률을 보이며 실무 적용까지 상당한 간극이 남았음을 분명히 한다.

기존 LLM 기반 벤치마크는 고정된 입력과 단회 정답 생성에 초점을 맞춰 에이전트형 시스템의 실행 능력을 판별하기에 한계가 있다. 임상의료 현장은 다수의 파일, 대용량 이미지, 시계열 EHR 등 문맥 창을 초과하는 정보와 도구 호출이 필요한 멀티스텝 워크플로를 포함하므로 단일 프롬프트 접근으로는 실무 수준의 과제를 재현할 수 없다. 따라서 에이전트가 스스로 환경을 탐색하고 도구를 사용해 연속적인 행동을 수행할 수 있는 평가 환경이 필요하다.

HealthAgentBench는 54개 과제를 Docker 컨테이너 단위의 터미널 환경으로 패키지해 에이전트가 셸 명령어 기반으로 자유롭게 파일을 읽고 도구를 호출하며 결과물을 /workspace/submission.json에 제출하게 했다. 각 과제는 사전 정의된 이진 성공 기준을 가지며 골드 라벨과 검증 코드는 에이전트가 접근할 수 없는 외부에 배치되어 에이전트가 라벨을 직접 조회하는 것을 방지했다. 과제 생성은 네 단계 워크플로(선별→소스화→설계 원칙 적용→사후 검사)를 통해 진행되며 사후 검사에는 자동 에이전트 스윕과 수동 트랜스크립트 검토가 포함되어 의도치 않은 바로가기와 다중 정답 가능성 사례를 제거했다.

총 10개 최전선 에이전트를 54개 과제에 대해 각 3회씩 평가한 결과, 최고 성능을 보인 Codex GPT-5.5의 전체 과제 성공률은 약 42%로 집계되었다. 과제군별로는 텍스트 기반 EHR 작업에서 평균 약 49%의 성공률을 기록한 반면 의료 영상 과제에서는 평균 약 17%로 크게 낮아 영상 처리와 관련된 탐색·다단계 정교화가 주요 병목으로 확인되었다. EHR Format Conversion 같은 ETL형 과제는 많은 에이전트가 100% 성공을 달성한 반면 EHR Data Quality Auditing과 Clinical Trial Matching은 대규모 검색 공간과 구성적 추론 요구로 인해 전반적으로 낮은 성공률을 보였으며 일부 상위 에이전트만 상대적으로 높은 회수를 달성했다.

벤치마크는 터미널 기반 환경을 표준 인터페이스로 채택해 heterogeneous raw data 포맷(2D radiograph, 3D CT volume, whole-slide pathology, 자유텍스트, 구조화 EHR)에 대한 동일한 실행 인프라를 제공한다. 각 컨테이너는 /data에 환자 관련 아티팩트를 배치하고 에이전트는 주어진 최소 지시문 하에서 자유롭게 파일을 탐색·가공·분석한 뒤 제출물을 생성한다. 평가는 외부 검증기가 바이너리 성공 기준을 적용하는 방식으로 이루어지며 과제별로 정확성(모든 레이블 정답), 완전성(레트리벌 recall), 임계값 충족(예: tumor tile-F1 ≥ 0.90) 등 다양한 판정 규칙이 사용된다.

논문은 HealthAgentBench가 실제 임상 적용을 완전 대체할 수 없으며 벤치마크 자체도 모든 의료 시나리오를 포괄하지 않는다고 명시했다. 특히 의료 영상 과제와 대규모 검색·구성적 문제는 현재 에이전트 성능이 낮아 추가적인 툴 보강이나 전용 비전 백엔드가 필요하다고 기술했다. 또한 데이터는 원소스에서 온더플라이로 다운로드하도록 설계되어 배포 데이터 접근성이나 라이선스 제약으로 인해 재현에 제한이 있을 수 있다.