에이전트 워크플로우와 추론 모델로의 전환 평가: 복잡한 임상 AI 전략 분석

• •임상 추론은 증상 파악부터 치료 계획까지 포함하는 복잡한 다단계 문제이다
• •MedPaLM 등 의료 특화 모델의 등장으로 지식 회상 성능이 크게 향상되었다
• •에이전트 시스템의 실질적 기여도와 베이스 모델 성능 간의 상관관계 분석이 필요하다

• •MedQA 벤치마크는 모델 성능 포화로 인해 새로운 기법의 우수성을 증명하기 어렵다
• •기존 데이터셋의 오류와 이미지 누락 문제를 필터링하여 평가의 신뢰성을 높여야 한다
• •단순 회상을 넘어선 깊이 있는 임상 추론을 요구하는 평가 지표가 필요하다

천장 효과는 평가 도구의 난이도가 너무 낮아 피평가자들의 실력 차이를 구분하지 못하는 상태를 의미한다.

• •모델 간 변별력이 큰 문제를 중심으로 데이터셋을 구성하여 평가 효율을 높였다
• •임상의들이 직접 추론 난이도를 5단계로 분류하여 전문적인 평가 기준을 수립했다
• •862개의 핵심 문제로 평가 비용을 기존 전체 데이터셋 대비 대폭 절감했다

• •오픈소스 모델에서 벤치마크 문제 암기 현상이 심각하게 나타나 평가 왜곡 위험이 있다
• •Levenshtein 거리를 이용해 모델의 암기 여부를 정량적으로 측정하여 신뢰성을 확보했다
• •추론 능력의 순수 평가를 위해 오염도가 낮은 GPT-4o를 베이스 모델로 채택했다

Levenshtein 거리는 두 문자열 사이의 유사도를 측정하는 알고리즘으로, 여기서는 모델 생성 문구와 정답지 간의 일치도를 확인하는 데 쓰였다.

• •o3-mini 등 추론 특화 모델이 복잡한 에이전트 구조보다 높은 정확도를 기록했다
• •에이전트 프레임워크는 성능 향상폭에 비해 비용 소모가 매우 비효율적이다
• •강력한 베이스 모델을 선택하는 것이 복잡한 에이전트 설계보다 우선되어야 한다

• •추론 모델은 과도한 숙고 끝에 정답을 버리는 'Overthinking' 오류를 범한다
• •멀티 에이전트는 잘못된 의견에 동조하여 수렴하는 'Group Bias' 문제를 겪는다
• •외부 지식 보충 없는 반복 수정은 성능 향상에 기여하지 못하는 'Exhaustion' 상태에 빠진다

• •MedCPT를 통한 외부 문헌 검색으로 에이전트의 정보 고갈 문제를 해결했다
• •조정자가 개입하는 다라운드 토론 구조로 집단 편향을 억제하고 합리적 결론을 유도했다
• •구조화된 심의 과정을 통해 비용 대비 성능을 최적화하여 실무 적용 가능성을 높였다

MedCPT는 의학적 질문과 문헌 사이의 연관성을 계산하는 데 특화된 임베딩 모델이다.