MedSkillAudit: 의료 연구 에이전트 기술을 위한 도메인 특화 감사 프레임워크

의료 분야 AI 에이전트는 과학적 무결성과 안전성이 필수적이지만, 기존의 일반적인 벤치마크로는 이를 충분히 검증하기 어렵다. MedSkillAudit은 의료 연구 기술의 배포 전 준비 상태를 체계적으로 감사하여 전문가 검토 수준의 신뢰성을 확보할 수 있는 프레임워크를 제공한다.

기존 LLM 평가는 주로 '모델이 질문에 얼마나 잘 대답하는가'라는 결과 중심의 벤치마크에 집중했다. 하지만 의료 연구 에이전트는 단순히 답변을 내놓는 것을 넘어, 연구 방법론이 타당한지, 인용구가 허위는 아닌지, 그리고 코드가 실제로 실행 가능한지와 같은 '기술(Skill)' 자체의 품질이 중요하다. MedSkillAudit은 이를 위해 소프트웨어 공학의 품질 표준인 ISO/IEC 25010을 의료 연구 맥락에 맞게 재해석하여 적용했다.

이 시스템은 에이전트의 기술을 하나의 독립적인 소프트웨어 모듈로 취급한다. 먼저 기술의 명세서(SKILL.md)와 코드를 분석하여 보안이나 안정성에 치명적인 결함이 없는지 살피고, 이후 실제 실행을 통해 도출된 결과물이 의료 윤리와 과학적 방법론을 준수하는지 동적으로 평가한다. 이는 마치 의학 논문을 심사하는 동료 평가(Peer Review) 과정을 자동화된 파이프라인으로 구현한 것과 같다.

결과적으로 이 프레임워크는 단순히 점수를 매기는 것을 넘어, 어떤 부분에서 과학적 오류가 발생했는지 구체적인 피드백을 제공한다. 이를 통해 개발자는 배포 전에 기술의 위험 요소를 사전에 파악하고 수정할 수 있으며, 기관은 검증된 기술만을 안전하게 공유하고 재사용할 수 있는 거버넌스 체계를 갖추게 된다.

MedSkillAudit은 크게 두 개의 베토 게이트(Veto Gate)와 다층적 루브릭(Rubric)으로 구성된다. 첫 번째 단계인 Structural Audit은 Python 스크립트를 통해 운영 안정성, 구조적 일관성, 결과의 결정론적 특성, 시스템 보안을 정적으로 평가한다. [기술 명세서와 소스 코드를 입력으로] → [25개 기준의 정적 분석을 수행해] → [S_static 점수를 산출하고] → [치명적 결함 시 즉시 Reject 판정을 내린다.]

두 번째 단계인 Domain-Specific Research Audit은 Claude 기반의 평가 에이전트를 활용하여 동적 실행 결과를 분석한다. 과학적 무결성, 실무 경계 준수, 방법론적 기준, 코드 사용성을 평가한다. [에이전트의 실행 출력물을 입력으로] → [범용 품질 루브릭(40점)과 도메인 특화 루브릭(60점)을 적용해] → [평균 동적 점수 D_mean을 계산하고] → [최종 점수(0.4 * S_static + 0.6 * D_mean)를 도출한다.]

최종 점수에 따라 4가지 배포 등급이 할당된다. 85점 이상은 Production Ready, 75-84점은 Limited Release, 60-74점은 Beta Only, 60점 미만은 Reject으로 분류된다. 특히 Veto Gate 2에서는 허위 인용(Hallucination)이나 직접적인 진단 결론 도출과 같은 의료 특화 금지 사항을 엄격히 체크한다.

75개의 의료 연구 기술을 평가한 결과, 전체 기술의 평균 점수는 72.4점이었으며 57.3%의 기술이 Limited Release 기준 미달로 나타났다. 이는 현재 개발되는 많은 의료 AI 기술이 배포 전 엄격한 감사가 필요함을 시사한다. MedSkillAudit 시스템과 전문가 합의 간의 점수 차이(표준편차 9.5)는 전문가 개별 점수 간의 차이(표준편차 12.4)보다 작게 나타나 시스템의 안정성을 확인했다.

카테고리별 분석에서 Protocol Design 분야는 ICC 0.551로 가장 높은 일치도를 보였으나, Academic Writing 분야는 -0.567의 음수 ICC를 기록했다. 이는 시스템이 문장의 효율성과 AI 스타일을 감점 요인으로 본 반면, 전문가는 학술적 문체와 상세한 설명을 고품질로 평가했기 때문이다. 이러한 결과는 도메인별로 루브릭의 미세 조정이 필요함을 보여주는 중요한 진단 지표로 활용됐다.

MedSkillAudit은 ISO/IEC 25010 소프트웨어 품질 모델을 기반으로 8가지 차원(기능 적합성, 신뢰성, 사용성 등)을 의료 연구 맥락에 통합했다. 아키텍처는 정적 분석을 위한 Python 모듈과 고차원 추론 및 루브릭 적용을 위한 Claude 에이전트의 하이브리드 구조를 취한다. 특히 'Scene Override' 메커니즘을 도입하여 특정 카테고리(예: 데이터 분석)에서 발생할 수 있는 시스템적 편향을 수정할 수 있도록 설계되었다.

연구팀은 시스템-전문가 간의 일치도를 측정하기 위해 ICC(2,1)와 선형 가중 코헨 카파(Weighted Cohen's Kappa)를 사용했다. Academic Writing에서의 음수 ICC 발생 원인을 분석한 결과, 시스템의 'Efficiency' 기준이 학술적 글쓰기의 특성을 '중복'으로 오인하는 구조적 불일치를 발견했다. 이는 향후 버전(v1.2.0)에서 실행 모드에 따른 가중치 조정(Mode-adaptive weighting)의 필요성을 뒷받침하는 근거가 되었다.

75개의 기술 샘플은 초기 신뢰성 연구에는 충분하나 카테고리별(n=15) 통계적 유의성을 확보하기에는 제한적이다. 또한 인간 전문가 간의 기초 일치도(ICC 0.300)가 낮아 시스템 평가의 기준점이 되는 전문가 합의 도출에 어려움이 있었다. 현재 프롬프트 전용 기술(Mode A)에 대해서도 고정된 정적/동적 가중치(40/60)를 적용하고 있어 구조적 불일치가 존재한다.