LingxiDiagBench: 중국어 정신과 상담·진단 평가를 위한 다중 에이전트 벤치마크 및 EMR 정렬 합성 대화(LingxiDiag-16K)

정신과 진단은 다중 정보수집과 감별 진단 능력을 요하는데, 기존 벤치마크는 정적·템플릿 기반 데이터로 실제 상담 흐름과 진단 레이블을 동시에 평가하지 못한다. 본 연구는 EMR 분포에 정렬된 대규모 합성 대화와 에이전트 기반 동적 평가 파이프라인을 제공해 LLM의 정보수집 전략과 최종 진단 성능을 동시에 측정할 수 있게 한다.

문제 출발점과 기존 한계: 정신과 진단은 환자 진술, 행동 관찰, 병력 등 분산된 정보를 단계적으로 수집해 여러 진단 후보를 비교·배제하는 differential diagnosis을 요구한다. 기존 LLM 벤치마크는 고정된 질의응답이나 템플릿화된 대화에 의존해 실제 상담의 정보획득 과정과 진단 라벨의 임상적 근거를 동시에 평가하지 못한다. 이로 인해 모델의 대화 품질과 진단 능력 간 관계를 정확하게 측정하기 어렵다.

전체 접근과 핵심 아이디어: 실제 EMR에서 추출한 인구통계·임상 피처로 지식그래프를 구성하고, 이 분포를 따르는 방식으로 합성 EMR과 다중 턴 상담 대화를 생성한다. 생성 파이프라인은 LLM 기반 Patient Agent와 APA‑guided Doctor Agent 상호작용을 통해 초기 대본을 만들고, 이후 일관성·자연스러움 보정을 거쳐 최종 데이터셋을 확보한다.

정적 평가 요약: LingxiDiagBench-Static에서 이진(Depression vs Anxiety) 정확도는 최고 0.854(Gemini-3-Flash, LingxiDiag-16K) 수준으로 높음. 그러나 4-class는 대략 0.39–0.48 정확도, 12-class는 최고 Acc 0.409(GPT-5-Mini, LingxiDiag-16K) 등으로 큰 폭 하락이 관찰됐다. TF-IDF + LR이 일부 종합 지표에서 강한 견조성을 보였다.

전체 아키텍처: 데이터 레이어(실제 임상 녹취·EMR → 지식그래프)와 에이전트 시스템(Patient/Doctor/Diagnosis)으로 분리된 모듈형 설계이다. 데이터 파이프라인은 실제 분포를 보존하도록 샘플링해 LingxiDiag-16K(16,000건)를 생성하고, 생성 과정에서 Qwen3-32B 기반의 APA-guided Doctor Agent와 LingxiDiag-Patient를 사용했다.

1. LingxiDiag-16K는 실제 임상 사례 분포를 모사하지만 희귀·비전형 사례 다양성에는 한계가 있다. 2) 벤치마크와 프롬프트는 중국어 기반이며 문화·언어적 제약으로 다른 언어권 일반화가 제한된다. 3) 현재 평가 범위는 초기 외래 진단에 한정되며 치료계획·추적관찰 등 장기적 임상 워크플로는 포함하지 않는다. 4) Patient Agent의 개인별 표현 다양성 재현에는 한계가 존재한다.