실패 연쇄 해소: 단계 인지 강화학습을 통한 의료 멀티모달 추론

의료 영상 질의응답은 다단계 추론 과정에서 초기에 발생한 오류가 이후 단계로 전파되어 최종 예측을 왜곡하는 경향이 있다. 기존의 결과 중심(post-training) 최적화는 최종 정답 신호만 사용해 어떤 중간 단계가 문제였는지 밝히기 어렵기 때문에 실제 임상 응용에서 신뢰성 확보에 한계가 있다. MRPO는 단계별 보상과 어드밴티지 재형성을 통해 초기 실패를 표적 교정함으로써 추론의 품질과 최종 정확도를 동시에 개선한다.

의료 멀티모달 VQA는 질문에 대한 문장 단위의 추론 경로가 존재하며, 각 단계의 관찰·추론이 누적되어 최종 결론으로 이어진다. 기존의 RL 기반 후처리 방법들은 주로 최종 정답을 기준으로 학습 신호를 제공해, 어느 중간 단계가 문제였는지 식별하기 어렵고 이로 인해 크레딧 할당이 희박해진다. 이로 인해 초기에 발생한 작은 오류가 이후 단계들로 전파되어 최종 오답으로 귀결되는 실패 캐스케이드가 빈번하게 발생한다.

MRPO는 세 유형의 보상을 정의해 총보상을 계산한다: Answer Reward는 ROUGE-1, BLEU-1의 가중 합(λ1=0.25)과 BiomedBERT 기반의 BERTScore(λ2=0.5)를 결합해 최종 답의 어휘·의미 일치를 계산한다. Reasoning Process Reward는 문장 단위 추론을 Gold Alignment와 Answer Contribution 두 기준으로 평가해 이진값을 부여하고, Length Reward는 허용 범위(Kmin=4, Kmax=10)를 벗어나는 추론 길이에 선형 패널티를 적용한다. 이들 보상을 합산해 R_tot을 얻은 뒤 GRPO 기반의 그룹 후보들에 대해 그룹 정규화된 advantage(A_i)를 계산하고, 최종 답이 기준 τ=0.6 이하로 틀렸을 경우 단계별 유효성(R_proc)을 사용해 토큰 수준의 어드밴티지를 재형성한다.

주요 벤치마크 실험에서 MRPO는 세 백본 모두에서 GRPO와 GDPO를 상회하는 평균 성능을 보였다. Qwen3-VL-8B-Instruct에 MRPO를 적용했을 때 평균 점수가 25.61에서 28.94로 3.33포인트 증가했으며, 동일 실험에서 HuatuoGPT-Vision-34B보다 2.79포인트 높은 결과를 기록했다. 실패 패턴 분석에서는 Early-stage FFP 비율이 baseline 64.0%에서 MRPO 13.0%로 감소했고, FAR 측면에서도 FFP 0.0–0.2 구간에서 MRPO가 43.3%로 baseline의 64.6%보다 크게 낮았다.

전체 아키텍처는 기존의 multimodal LLM 백본 위에서 GRPO 기반의 후보 생성(G 후보)과 외부 LLM 평가자 판정으로 구성된다. 정책 모델은 입력 x에 대해 G개의 후보 y_i를 생성하고, 각 후보에 대해 토큰 단위 확률비 ρ_{i,t}와 재형성된 토큰 어드밴티지 Ĥ_{i,t}를 사용해 MRPO 목적함수를 최적화한다. 목적함수는 토큰 단위의 clipped objective와 KL 정규화 항(β⋅D_KL(π_θ ‖ π_ref))을 포함해 정책이 급격히 변하지 않도록 안정화한다.

MRPO는 외부 LLM 평가자(GPT-5-mini)에 의존해 단계별 보상을 계산하므로 API 비용과 외부 모델 의존성이 존재한다. 본 방법은 MedThink의 gold reasoning과 같은 단계별 정답 라벨을 활용해 학습 신호를 형성하므로 이러한 주석이 없는 환경에서는 바로 적용하기 어렵다. 실험은 의료 VQA 도메인에 국한되어 있어 다른 다단계 추론 도메인으로의 일반화는 별도의 실험적 검증이 필요하다.