의료 분야 LLM-as-a-judge의 신뢰성 확보를 위한 섭동 기반 평가 전략

섹션별 상세

PA 양식은 진단, 치료 이력, 반응 등 다중 임상 조건을 포함하므로, 이를 원자적 주장(atomic claims)으로 분해하여 독립적으로 검증한다.

임상 언어의 변형을 처리하기 위해 주장을 시맨틱 검색 쿼리로 확장하고, 환자 기록에서 증거를 검색하여 '지지됨', '지지되지 않음', '언급되지 않음'으로 판정한다.

기존 골드 표준 데이터의 정답을 plausible한 오답으로 섭동시켜, 모델이 의도된 오류를 정확히 탐지하는지 확인하는 변이 테스트를 수행한다.

섭동된 데이터로 모델을 평가하면 위양성률(clean run)과 탐지율(perturbed run)을 동시에 측정할 수 있어, 모델의 과도한 보수성을 교정하는 데 효과적이다.

섭동은 단순히 예/아니오를 뒤집는 것이 아니라, 환자의 임상 맥락(진단, 투약 이력)을 유지하면서 사실과 다른 정보를 생성하여 모델의 실제 임상 판단 능력을 시험한다.