IndicMedDialog: Indic 언어를 아우르는 병렬 다-턴 의학 대화 데이터셋

영어 중심의 의료 대화 데이터에 의존하던 한계를 넘어, 영어·9개 Indic 언어를 아우르는 병렬 다턴 대화를 구축했다. 또한 LoRA로 파인튜닝한 IndicMedLM과 LLM-as-a-Judge 기반 포스트-프로세싱으로 저자원 환경에서도 임상 적합성과 다언어 일관성을 확보하고자 한다.

출발점: 기존의 의학 대화 시스템은 단일 턴 QA 또는 템플릿 기반 데이터에 의존해 다언어 환경에서의 대화 자연성을 제한한다. 시퀀스형 의사-환자 상호작용에서 진단은 다단의 follow-up 질문을 통해 점진적으로 좁혀진다. 또한 Indic 언어 자원은 영어 기반 데이터에 비해 불균형하게 분포한다. 해결 원리: synthetic 대화를 Llama-3.3-70B를 통해 생성하고 TranslateGemma로 9개 Indic 언어로 번역한 뒤, 스크립트-감지 포스트-프로세스로 음성/문자 간 변환에서의 오류를 보정한다. 또한 patient pre-context를 도입해 다회 질문을 통해 실제 임상 컨설턴트의 흐름을 모사한다. 차별점: 1) 병렬 다언어 대화의 동일한 진단 흐름 보장, 2) LoRA로 파라미터-효율적 파인튜닝, 3) LLM-as-a-Judge 기반의 의미적 매핑으로 다언어에서의 라벨-생성 일관성 향상. 이로써 낮은 리소스 환경에서도 다언어 임상 대화 모델의 구축이 가능해진다.

Stage 1: 데이터셋 및 합성 대화 생성. MDDial 기저 코퍼스에 1,101건의 합성 대화를 생성하고 12개 질병 카테고리와 118개 증상을 포함한다. 템플릿 기반 외에도 비결정적 패턴(환자 반응의 변동성, 중복 증상, 불완전 기술)을 도입해 다양성을 증가시킨다. Stage 2: 파라미터-효율적 파인튜닝(PEFT). LoRA를 이용해 LLaMA-3.2-3B-Instruct에 어댑터를 삽입하고 4-bit NF4 양자화를 적용한다. 랭크 r=16, α=16, 드롭아웃 0, bias 제거. 학습은 AdamW-8bit로, 학습률 2e-4, 가중치 감소 0.001, 배치 8, warmup 5, 총 300스텝, FP16/BF16 섞어 사용. 각 언어별로 독립적으로 학습한다. Stage 3: 의료 진단. 선택적 환자 pre-context를 대화 프리픽스에 추가하고, 4~8턴의 구조화된 증상 수집 후 최종 진단 및 근거를 제시한다. 출력은 ShareGPT 스타일의 포맷으로 구성되며, 시스템 메시지가 진단 맥락을 설정한다. Post-processing: 대규모 언어 모델(ChatGPT 5.3) 판단기를 사용해 출력 문자열에서 12개의 정규 질병 라벨 중 가장 의미적으로 동등한 라벨을 선택한다(또는 NULL).

언어별 자동 진단 정확도는 English 80.85%, Hindi 72.76%, Marathi 68.51%, Bengali 58.72%를 달성했다(포스트-처리 후). Assamese, Tamil, Telugu의 경우 기저 모델 토크나이저의 제한으로 저하되며, Gujarati의 경우 Tiny-AYA가 더 나은 성능을 보였다. Expert 평가에서 의료 안전성 패스 비율은 95.3%, 증상 추출 4.20, 맥락 기억 4.40, 진단 정확도 4.10, 대화 흐름 4.30, 효율성 4.00으로 나타났다. Krippendorff의 α는 0.81로 전문가 간 합의가 높은 편이다. 다섯 가지 실패 모드(ID, LC, CDC, TTF, PLG)가 관찰되었고, Devanagari 계열에서의 강한 시도-출력 차이가 일부 재구성(recovery) 가능성을 보여준다.

모델 구성은 SFT를 9개 Indic 언어 버전에 대해 각 언어 파티션으로 수행한다. LoRA 어댑터를 Transformer의 q/k/v/o projection 및 MLP projection에 삽입하고, 랭크 r=16, α=16, 드롭아웃 0으로 설정한다. 학습은 600 스텝 대신 실제로 300 스텝으로 제한하고, 4-bit NF4 양자화로 메모리 요구를 낮춘다. 입력 포맷은 ShareGPT 스타일로 변환되고 optional patient pre-context가 모든 언어에 공통적으로 입력된다. 출력의 병합은 두 단계 포스트-프로세싱으로, 모델의 길고 서술적인 출력 속에서 정규 라벨을 추출하는 의미적 등가성 판정기를 통해 12개 질병 라벨으로 매핑한다. 전문가 평가를 통해 안전성 및 대화 품질을 확인하고 Krippendorff의 α로 신뢰도를 측정한다.

Synthetic-to-real 데이터 간의 분포 차이가 존재하며, 극단적 저자원 언어에서의 실전 대화 일반화가 필요하다. 12질병 카테고리로 한정되며, 이미지/음성 등의 다중 모달은 아직 다루지 않는다.