임상 사건 예측을 위한 대형 언어 모델 학습

전자의료기록(EHR)의 자유텍스트 노트는 시간에 따라 변화하는 임상 정보를 담고 있지만, 엔드포인트별로 손수 설계된 특징이나 분류기에 의존하기 어렵다. 본 연구는 시간 순으로 정렬된 노트로부터prediction time 이전의 정보만 사용한 자연어 질문-답변 형식의 학습 신호를 생성하고, 후속 문헌으로부터 outcomes를 해결해 다중 엔드포인트를 한 모델로 예측하도록 한다. 이를 통해 엔드포인트별 classifiers 없이도 약물 시작, 시술, 기관지 지지, 미생물 결과, 사망 등 다양한 임상 이벤트를 예측하는 일반화 가능한 프레임워크를 제시한다.

출발점은 구조화된 EHR 변수나 고정 엔드포인트에 의존하는 기존 임상 예측과 달리, 임상 노트의 진화적 신호를 활용하는 것이다. Transformer 기반의 언어 모델은 예측 시점까지 관찰된 텍스트를 바탕으로 확률적 예측을 생성할 수 있으며, 이때 각 예측은 사건이 재문맥에 등장할 가능성으로 표현된다. 본 연구는 1) Trajectory builder가 시간순 로그를 구성하고 2) Prediction-time sampler가 예측 시점을 선택하며 3) Question generator가 미래 이벤트에 대한 자연어 질문을 생산하고 4) Outcome resolver가 후속 문헌으로 라벨을 부여한다. 마지막으로 5) LoRA 어댑터를 통해 모델이 과거 정보에 근거한 확률 분포를 학습하도록 한다. 이 접근은 6) 동일한 trajectory에서 다양한 엔드포인트를 추정할 수 있게 하며, 7) calibration이 향상되고 8) GPT-5와의 성능 차이가 크지 않게 된다. 기존의 모델-특정 엔드포인트 학습과 달리 엔드투엔드 데이터 구성으로 재현 가능한 감독 신호를 제공한다.

1. 전체 접근 방식과 핵심 아이디어: 시간순 노트를 이용해 prediction time 이전의 컨텍스트와 미래 이벤트를 연결하는 프레임워크를 정의한다. 2) 핵심 메커니즘/알고리즘 상세: 입력은 prediction time까지의 노트와 자연어 질문으로 구성되며, 출력은 해당 이벤트가 discharge 전후에 발생할 확률이다. 3) 학습 및 구현 세부: base 모델은 gpt-oss-120b이고, LoRA(rank=32) 어댑터만 학습한다. 4) 정합성 및 평가 설계: realized outcomes로 보상을 주는 Foresight Learning 프레임워크를 적용하고, log-score를 reward로 사용한다. 5) 입력 포맷 및 컨텍스트: 입력은 task instruction + context + question 형식으로 구성되며, 최대 16,000 토큰의 컨텍스트를 허용한다. 6) 수학적 기반의 손실/보상: 정답 y(0/1)과 예측 확률 p(0~1)일 때 r = y log p + (1 − y) log(1 − p)를 계산하고, 이를 평균화해 최적화를 수행한다.

주요 평가 지표로 Reward(BLE 로그 점수), Brier score, ECE, AUROC, Top-10% lift를 사용한다. Base model에서의 수치는 Reward -0.5856, Brier 0.1994, ECE 0.1269, AUROC 0.6992, Top-10% lift 2.3358이다. GPT-5는 -0.4636, 0.1457, 0.0422, 0.7954, 2.9927를 기록했다. Trained Model(step 200)은 -0.4586, 0.1453, 0.0398, 0.7993, 3.0657를 달성했다. reliability diagram은 교정 차이를 시각화하고, 훈련된 모델은 교정에 있어 더 가까운 곡선을 보인다.

아키텍처는 120B 디코더-전용 언어 모델(gpt-oss-120b)을 LoRA(adapter rank=32)로 특화한다. 입력은 prediction time까지의 기록(context)과 미래 이벤트에 대한 자연어 질문으로 구성되며, 최대 16,000 토큰까지 허용된다. 학습은 GRPO를 이용해 4개의 전체 reasoning traces와 확률 추정을 샘플링하고, 각 예제에 대해 realized binary outcome y와 예측 확률 p에 대해 로그 점수 r를 계산해 평균화한다. 파라미터 업데이트는 LoRA adapter만 수행하고 base_weight는 고정한다. 데이터는 MIMIC-III v1.4에서 702Admissions에서 수집되며, 6,900개의 질문을 생성하고 500개의 테스트 질문으로 평가한다.

MIMIC-III는 단일 센터 데이터로 일반화에 제한이 있을 수 있다. 노트는 노이즈가 많고 문서화 편향에 의해 신호가 제한될 수 있다. 또한 자동화된 노트 처리의 오류 가능성과 데이터 사용 정책에 따른 배제 가능성이 있다.