LingxiDiagBench: 중국어 정신과 상담·진단 평가를 위한 다중 에이전트 벤치마크 및 EMR 정렬 합성 대화(LingxiDiag-16K)

정신과 진단은 다중 정보수집과 감별 진단 능력을 요하는데, 기존 벤치마크는 정적·템플릿 기반 데이터로 실제 상담 흐름과 진단 레이블을 동시에 평가하지 못한다. 본 연구는 EMR 분포에 정렬된 대규모 합성 대화와 에이전트 기반 동적 평가 파이프라인을 제공해 LLM의 정보수집 전략과 최종 진단 성능을 동시에 측정할 수 있게 한다.

왜 중요한가

핵심 기여

LingxiDiag-16K — EMR 정렬 합성 상담 대화 데이터셋(16,000건)

실제 SMHC 전자의무기록 분포에서 추출한 인구통계·임상 피처로 지식그래프를 구성한 뒤 샘플링해 생성한 16,000개 합성 EMR 및 다중 턴 상담 대화로 구성된다. 각 사례는 demographics, chief complaint, present illness, 병력, 가족력, 진단 결론을 포함하고 검증·분할(1,000개 validation/test)을 제공한다.

에이전트 기반 벤치마크 프레임워크(LingxiDiagBench)

Patient Agent, Doctor Agent, Diagnosis Agent로 구성된 다중 에이전트 아키텍처를 통해 정적(대본) 평가와 동적(실시간 상담) 평가를 모두 지원한다. Doctor Agent는 Free-form, Symptom-Tree, APA-Guided, APA-Guided + MRD-RAG의 네 가지 전략을 구현한다.

종합 실험과 진단 성능 분석(정적·동적 비교, comorbidity 평가)

다수 LLM과 전통 기법(TF-IDF+LR/SVM/RF)을 대상으로 정적·동적 평가를 수행해 주요 발견을 제시한다: 이진 분류(우수; 최대 92.3%) 대비 comorbidity 인식(43.0%) 및 12-way 감별진단(28.5%)에서 성능 저하가 심함. 동적 상담에서 정보수집 전략의 실패가 진단 성능 저하로 이어짐이 확인됐다.

평가 자동화·재현성: 코드·데이터·평가 파이프라인 공개

데이터셋(LingxiDiag-16K), 합성·평가 파이프라인, LLM-as-a-Judge 평가 절차와 스크립트를 공개한 GitHub 저장소를 제공해 재현 가능한 비교 연구를 가능하게 한다.

핵심 아이디어 이해하기

문제 출발점과 기존 한계: 정신과 진단은 환자 진술, 행동 관찰, 병력 등 분산된 정보를 단계적으로 수집해 여러 진단 후보를 비교·배제하는 differential diagnosis을 요구한다. 기존 LLM 벤치마크는 고정된 질의응답이나 템플릿화된 대화에 의존해 실제 상담의 정보획득 과정과 진단 라벨의 임상적 근거를 동시에 평가하지 못한다. 이로 인해 모델의 대화 품질과 진단 능력 간 관계를 정확하게 측정하기 어렵다.

방법론

전체 접근과 핵심 아이디어: 실제 EMR에서 추출한 인구통계·임상 피처로 지식그래프를 구성하고, 이 분포를 따르는 방식으로 합성 EMR과 다중 턴 상담 대화를 생성한다. 생성 파이프라인은 LLM 기반 Patient Agent와 APA‑guided Doctor Agent 상호작용을 통해 초기 대본을 만들고, 이후 일관성·자연스러움 보정을 거쳐 최종 데이터셋을 확보한다.

주요 결과

정적 평가 요약: LingxiDiagBench-Static에서 이진(Depression vs Anxiety) 정확도는 최고 0.854(Gemini-3-Flash, LingxiDiag-16K) 수준으로 높음. 그러나 4-class는 대략 0.39–0.48 정확도, 12-class는 최고 Acc 0.409(GPT-5-Mini, LingxiDiag-16K) 등으로 큰 폭 하락이 관찰됐다. TF-IDF + LR이 일부 종합 지표에서 강한 견조성을 보였다.

기술 상세

전체 아키텍처: 데이터 레이어(실제 임상 녹취·EMR → 지식그래프)와 에이전트 시스템(Patient/Doctor/Diagnosis)으로 분리된 모듈형 설계이다. 데이터 파이프라인은 실제 분포를 보존하도록 샘플링해 LingxiDiag-16K(16,000건)를 생성하고, 생성 과정에서 Qwen3-32B 기반의 APA-guided Doctor Agent와 LingxiDiag-Patient를 사용했다.

한계점

LingxiDiag-16K는 실제 임상 사례 분포를 모사하지만 희귀·비전형 사례 다양성에는 한계가 있다. 2) 벤치마크와 프롬프트는 중국어 기반이며 문화·언어적 제약으로 다른 언어권 일반화가 제한된다. 3) 현재 평가 범위는 초기 외래 진단에 한정되며 치료계획·추적관찰 등 장기적 임상 워크플로는 포함하지 않는다. 4) Patient Agent의 개인별 표현 다양성 재현에는 한계가 존재한다.

실무 활용

임상적 검증 단계를 전제로 연구·개발 환경에서 상담 시뮬레이션, LLM 평가, 그리고 진단 알고리즘의 엔드투엔드 성능 측정에 활용 가능하다. 합성 데이터는 개인정보 문제를 완화하면서 대규모 실험을 지원한다.

의료 연구: 진단 알고리즘의 정보수집 전략(질문 계획) 최적화 연구
모델 개발: Doctor Agent 정책(질문 전략)과 Diagnosis Agent의 별도 학습·평가
평가 인프라: LLM-as-a-Judge 기반 자동화된 상담 품질·일관성 검증
안전성 테스트: 환자 시뮬레이션을 통한 잠재적 위험·편향 감지

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLMs(대형 언어 모델)multi-agent(다중 에이전트)EMR-aligned(EMR 정렬)ICD-10(국제질병분류-10)RAG(검색 증강 생성)synthetic-dialogues(합성 상담 대화)

용어 해설

다중 에이전트(Multi-Agent): — 환자, 의사, 진단 역할을 각각 에이전트로 분리하여 상호작용을 시뮬레이션하는 접근법이다. 에이전트 간 대화와 역할 분담을 통해 실제 임상 상담의 절차적 흐름을 재현하고, 정보수집 전략과 진단 결정을 분리하여 평가할 수 있다.
LLM-평가자(판정자)(LLM-as-a-Judge): — 여러 LLM을 평가자 역할로 사용해 대화 품질과 일관성을 점수화하는 기법이다. 서로 다른 평가 모델을 앙상블해 인간 평가자에 대한 상관을 측정하고 자동화된 정성 지표를 산출하는 데 사용된다.
EMR 정렬(EMR-aligned)(EMR-aligned): — 합성 대화를 실제 전자의무기록(EMR)의 인구통계·진단 분포와 통계적으로 일치시키는 과정이다. 실제 데이터에서 추출한 지식그래프를 바탕으로 샘플링해 합성 EMR과 대화를 생성함으로써 임상적 대표성을 유지한다.
감별 진단(Differential Diagnosis): — 여러 정신과적 진단 후보를 비교·배제하여 최종 진단을 도출하는 과정이다. 대화에서 획득한 증상·기능장애·병력 정보를 종합해 여러 ICD-10 범주 중 우선순위를 판단하는 능력이 핵심이다.
MRD-RAG(검색 보조 진단 지침 활용)(MRD-RAG): — 진단 후보군 관련 문헌이나 진단 지침을 검색해 의사 결정을 보조하는 RAG 계열 방식이다. 상위 N개의 잠재 진단 지침을 가져와 다음 질문 계획에 반영해 정보수집을 안내한다.

LingxiDiagBench: 중국어 정신과 상담·진단 평가를 위한 다중 에이전트 벤치마크 및 EMR 정렬 합성 대화(LingxiDiag-16K)

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드