문서 간의 불일치: 검색 증강 언어 모델을 통한 이식 안내서의 기관별 변이 측정

환자 교육 자료의 일관성은 치료 결과에 직결되지만, 기관마다 내용이 달라 환자에게 혼란을 줄 수 있다. 이 논문은 RAG 기술을 활용해 대규모 문서 집합 간의 의학적 불일치를 자동으로 측정하는 프레임워크를 제시하여 의료 정보의 질적 개선 방향을 제시한다.

Transformer 기반의 RAG 시스템은 대개 외부 문서를 '정답'으로 간주하고 답변을 생성한다. 하지만 실제 의료 현장에서는 기관마다 지침이 다를 수 있으며, 이는 모델이 생성하는 답변의 불일치로 이어진다. 이 논문은 이러한 '소스 문서의 불일치' 문제를 해결하기 위해 동일한 질문을 여러 기관의 문서에 투영(Grounding)하는 방식을 취한다. 먼저 각 문서를 벡터 공간의 임베딩으로 변환하여 질문과 가장 관련 있는 구절을 찾는다. 이후 LLM이 해당 구절에만 의존하여 답변을 생성하게 함으로써, 모델 자체의 지식이 아닌 문서에 담긴 기관의 입장을 추출한다. 마지막으로 추출된 답변 쌍을 비교하여, 단순히 내용이 같은지를 넘어 정보가 보완적인지, 혹은 의학적으로 상충되는지를 정량화한다. 이는 AI가 단순한 정보 전달자를 넘어, 방대한 문서군 사이의 지식 격차를 진단하는 도구로 진화할 수 있음을 보여준다.

문서 구조화 및 하이브리드 검색: LlamaParse를 통해 PDF를 JSON으로 변환한 뒤, BM25를 이용한 키워드 검색과 BGE-M3 인코더를 이용한 의미 검색을 병행했다. 두 검색 결과의 순위는 RRF(Reciprocal Rank Fusion) 공식을 통해 통합되는데, 이는 각 순위의 역수를 합산하여(1/(k+rank)) 다양한 검색 방식의 장점을 고르게 반영한다. 접지형 답변 생성 및 검증: 통합된 결과 중 상위 5개 구절을 Qwen3-14B 모델에 입력값으로 제공한다. 모델은 컨텍스트에 정보가 없을 경우 'NOT ADDRESSED'라는 특정 문구를 출력하도록 학습되어, 근거 없는 답변(Hallucination) 생성을 방지한다. 5단계 일관성 분류 체계: 생성된 답변 쌍은 LLM Judge에 의해 ABSENT(부재), CONSISTENT(일치), COMPLEMENTARY(보완), DIVERGENT(분산), CONTRADICTORY(모순)로 분류된다. 각 분류는 2-3문장의 임상적 근거와 함께 기록되어 분석의 투명성을 확보한다.

전체 분석 대상 중 96.2%가 정보 부재(Absent)로 나타나, 환자들이 궁금해하는 질문에 대해 실제 안내서가 충분한 정보를 제공하지 못하고 있음을 확인했다. 특히 생식 건강 주제의 부재율은 95.1%에 달했다. 정보가 존재하는 경우, 20.8%의 답변 쌍에서 임상적으로 유의미한 차이(Divergent)가 발견되었다. 이는 약물 복용 시기나 생활 수칙 등에서 기관별 권고 사항이 다름을 의미한다. 장기별로는 신장(39.8%)과 폐(41.8%) 이식 관련 질문에서 불일치 비율이 가장 높았으며, 췌장(11.0%)은 상대적으로 표준화된 지침을 따르는 것으로 나타났다.

시스템 아키텍처는 LlamaParse(추출), Hybrid Retrieval(검색), Qwen3-14B(생성 및 평가)의 3단계 파이프라인으로 설계되었다. 검색 단계에서 사용된 RRF는 k=60 설정을 통해 어휘적 매칭과 의미적 매칭의 가중치를 조절하며, 이후 Cross-Encoder를 통한 재순위화로 상위 5개 컨텍스트의 품질을 극대화한다. LLM Judge는 답변 간의 관계를 정의할 뿐만 아니라, 임상적 중요도를 Low, Medium, High로 등급화하여 의료진이 우선적으로 검토해야 할 불일치 항목을 식별할 수 있게 한다. 기관별 변이 프로필(Center-Level Profiles)을 생성하기 위해 모든 질문에 대한 답변 쌍의 결과를 집계하여, 특정 기관이 전체적인 합의(Consensus)에서 얼마나 벗어나 있는지를 수치화했다.

LLM 기반의 평가 모델이 시스템적인 분류 편향을 가질 수 있으며, 현재 파이프라인은 텍스트 정보만 처리하고 안내서 내의 표, 그림, 인포그래픽 등은 분석에서 제외되었다. 또한 23개 미국 센터의 영어 안내서로 한정되어 일반화에 한계가 있다.