지식 강화 데이터 합성 및 준지도 강화학습을 통한 의료 추론 능력 유도

의료 분야는 고품질의 추론 데이터가 매우 부족하며, 특히 희귀 질환 데이터는 더욱 구하기 어렵습니다. 이 논문은 고가의 데이터 증류 과정 없이도 지식 기반 합성과 준지도 강화학습을 통해 모델의 의료 추론 능력을 효율적으로 확장하는 방법론을 제시합니다.

기존의 의료 LLM 학습은 주로 GPT-4와 같은 거대 모델로부터 복잡한 추론 과정(Chain-of-Thought)을 추출하여 모방 학습(Distillation)하는 방식에 의존했다. 하지만 이 방식은 비용이 많이 들고, 데이터가 희박한 희귀 질환 영역에서는 학습 효율이 급격히 떨어진다는 한계가 있다. Transformer 기반 모델이 이미 방대한 의료 지식을 Embedding 공간에 내재화하고 있음에도 불구하고, 이를 논리적인 추론으로 연결하는 '추론 경로'를 생성하는 능력은 충분히 발현되지 않은 상태이다.

MedSSR은 모델이 이미 알고 있는 지식을 스스로 '추론 문제'로 바꾸어 학습하게 만드는 원리를 이용한다. 먼저 외부 지식 베이스에서 희귀 질환 정보를 가져와 질문을 생성하고, 모델이 이 질문에 대해 여러 개의 답변을 내놓게 한다. 이때 Softmax를 거쳐 나온 확률 분포 중 가장 일관성 있는 답변을 정답(Pseudo-label)으로 간주하는 Majority Voting을 적용한다. 이는 Gradient Descent 과정에서 모델이 자신의 내부 지식과 일치하는 논리적 경로를 강화하도록 유도하는 앵커 역할을 한다.

결과적으로 모델은 외부의 정답지에만 의존하는 것이 아니라, 스스로 생성한 양질의 데이터를 통해 내부의 잠재된 추론 능력을 먼저 끌어올린다(Self-supervised RL). 이후 검증된 실제 데이터를 통해 미세 조정(Supervised RL)을 거침으로써, 데이터가 부족한 영역에서도 견고한 의료 추론 성능을 확보하게 된다.

MedSSR의 방법론은 크게 지식 강화 데이터 합성(Knowledge-enhanced Data Synthesis)과 준지도 강화학습(Semi-supervised RL)의 두 단계로 구성된다. 데이터 합성 단계에서는 시드 질문과 외부 의료 지식 코퍼스 P를 결합한다. 특정 임계값 α를 설정하고 무작위 값 ρ를 샘플링하여 ρ < α인 경우 희귀 질환 엔티티 e를 추출하고, MedCPT 리트리버를 통해 관련 문서를 검색하여 질문 생성 프롬프트에 주입한다. 이를 통해 합성 데이터 내 희귀 질환 비중을 정교하게 제어한다.

준지도 강화학습 단계에서는 생성된 합성 질문 x_syn에 대해 정책 모델 π_θ가 G개의 독립적인 응답을 생성한다. 각 응답에서 추출된 최종 답변 a_i들에 대해 다수결 투표(Majority Voting)를 실시하여 가장 많이 선택된 답변을 의사 라벨 y_majority로 지정한다. [G개의 답변 입력 → 빈도수 계산 → 최대 빈도 답변 선택 → 의사 라벨 확정] 순으로 계산되어 모델 정렬을 위한 리워드 신호로 사용된다.

학습 알고리즘으로는 GRPO(Group Relative Policy Optimization)를 채택했다. 먼저 합성 데이터 D_syn 상에서 의사 라벨을 기준으로 자가 지도 강화학습을 수행하여 모델의 내재적 추론 능력을 극대화한다. 이후 실제 인간이 라벨링한 데이터 D_real 상에서 지도 강화학습을 수행하는 '내재적-외재적(intrinsic-to-extrinsic)' 커리큘럼을 따른다. 리워드 함수 r(y, y')은 추출된 답변이 정답과 일치하면 1, 아니면 0을 반환하는 지시 함수(Indicator function)로 정의된다.

실험 결과, MedSSR은 Qwen3-8B와 Llama-3.1-8B-Instruct 모델 모두에서 기존의 모든 베이스라인을 압도했다. 특히 희귀 질환 데이터셋(RareDis-Sub)에서 Qwen 모델은 지도 학습 기반 GRPO 대비 평균 5.93%의 성능 향상을 보였으며, 진단(Diagnosis) 항목에서는 최대 7.54%의 상승폭을 기록했다. 이는 기존 모델들이 희귀 질환 영역에서 3% 미만의 개선에 그쳤던 한계를 크게 넘어선 수치이다.

일반 의료 벤치마크에서도 MedSSR은 우수한 범용성을 입증했다. BioASQ, MedQA, PubMedQA 등 10개 주요 벤치마크에서 평균 3.91%(Qwen) 및 2.27%(Llama)의 성능 향상을 달성했다. 특히 데이터 합성 시 희귀 질환 비율을 25%로 설정했을 때 전문화와 일반화 사이의 최적의 균형(Trade-off)을 이루어 전체적인 의료 추론 능력이 가장 높게 나타났다.

Ablation Study를 통해 오프라인 다수결 투표 방식의 안정성도 확인되었다. 온라인 투표 방식은 학습 초기 성능이 급격히 하락하는 리워드 해킹 현상이 발생했으나, MedSSR의 오프라인 방식은 1,000 스텝 이상의 장기 학습에서도 리워드와 성능이 꾸준히 동반 상승하는 안정적인 학습 곡선을 보여주었다.

MedSSR의 핵심 아키텍처는 지식 주입형 질문 생성기와 GRPO 기반의 2단계 강화학습 파이프라인이다. 질문 생성 시 MedCPT 임베딩 모델을 사용하여 엔티티와 지식 문서 간의 코사인 유사도를 계산하고 최상위 k개 문서를 컨텍스트로 활용한다. 이는 모델이 단순히 텍스트를 생성하는 것을 넘어 실제 의학적 사실에 근거한(Grounded) 문제를 만들도록 보장한다.

강화학습 전략에서 주목할 점은 '오프라인 다수결(Offline Majority Voting)'이다. 온라인 자가 지도 학습에서 흔히 발생하는 모델 붕괴(Model Collapse)를 방지하기 위해, 학습 루프 외부에서 미리 의사 라벨을 고정한다. 이는 모델이 리워드를 얻기 위해 비정상적으로 짧거나 반복적인 답변을 생성하는 리워드 해킹을 원천 차단한다. 또한 KL Divergence 제약 조건을 통해 학습된 정책 모델이 초기 모델로부터 너무 멀어지지 않도록 규제하여 안정성을 확보했다.

본 연구는 최대 14B 파라미터 규모의 모델까지만 실험을 진행하여, 그 이상의 초거대 모델(Large-scale LLMs)에서의 확장성(Scalability)은 직접 검증하지 못했다. 또한 합성된 데이터의 의학적 타당성을 8명의 의사가 샘플 검증했으나, 실제 임상 현장에 배포하기 위해서는 더 대규모의 전문가 검증과 안전성 테스트가 필요함을 명시하고 있다.