AtomiMed: 보편적 임상 인지를 위한 계층적 원자적 사실 기반 의료 보고서 평가

의료 보고서 자동 생성 시스템의 기존 평가는 n-gram 기반 유사도나 특정 흉부 방사선 중심의 구조적 지표에 의존해 임상적으로 치명적인 오류를 놓치는 경향이 있다. AtomiMed는 보고서를 질병 수준과 속성 수준의 원자적 사실로 분해하고 상호 교차 검증을 수행해 진단 탐지와 서술 정확도를 분리 측정하므로 임상적 중요성이 높은 오류를 더 정확히 포착한다. 이 접근은 다중 영상 모달리티(X-ray, CT, MRI, Ultrasound)에 적용 가능한 표준화된 벤치마크와 자동화 도구를 함께 제공해 평가의 범용성과 재현성을 확보한다.

의료 보고서는 질병 존재 여부와 각 질병의 속성(location, morphology, severity 등)을 포함하는 계층적 구성물이므로 전체 텍스트를 단일 지표로 비교하는 방식은 임상적 오류를 은닉한다. 이러한 출발점에서 Disease-level QA를 통해 이진 존재 여부를 묻고 Attribute-level QA를 통해 해당 질병의 세부 속성을 묻는 계층적 분해가 보고서의 임상적 구성요소를 명시적으로 분리한다. 분해된 질문 집합은 이후 상호 증거 기반의 검증 루프에서 독립적으로 평가되어 진단 탐지 능력과 서술적 정확도를 각각 측정할 수 있다.

계층적 분해는 Instruction-tuned LLM을 이용해 고정된 프롬프트로 JSON 형태의 QA 쌍을 생성하도록 구성된다. 생성된 Disease-level QA는 각 질병에 대해 yes 또는 no의 응답을 갖는 이진 질문-응답으로 정규화되며 Attribute-level QA는 각 질병 키에 연계된 location, size, morphology, severity 등의 속성 질문 집합으로 표현된다. 이 과정에서 LLM 출력은 파싱 파이프라인을 통해 엄격히 구조화되어 오류 전파를 최소화한다.

검증 단계는 Agentic Cross-Verification으로서 GT→INF 방향에서는 GT에서 추출한 질문들을 예측 보고서에 질의해 재현율 기반의 평가를 수행하고 INF→GT 방향에서는 예측 보고서의 질문들을 GT에 질의해 정밀도 기반의 평가를 수행한다. 두 방향의 매칭 결과를 질병 수준과 속성 수준에서 각각 집계한 뒤 두 수준을 평균하여 최종 P, R, F1을 산출함으로써 진단 탐지와 서술 정확도를 분리해 평가하면서도 하나의 종합 지표로 정량화할 수 있다. 이 설계는 각 불일치에 대한 질의 단위의 감사 흔적을 남겨 어떤 소견에서 어떤 속성이 잘못되었는지를 구체적으로 추적 가능하게 만든다.

전체 파이프라인은 세 단계로 구성된다. 첫 단계는 Hierarchical Atomic Decomposition으로서 Instruction-tuned LLM ℳ에 고정 프롬프트를 투입해 보고서 R을 Disease-level QA 집합과 Attribute-level QA 집합으로 분해한다. Disease-level QA는 정규화된 임상 엔티티에 대해 yes 또는 no 응답을 갖는 이진 질의 쌍으로 표현되며 Attribute-level QA는 각 질병 d_k에 대해 location, size, morphology, severity 등 M_k개의 속성 질문과 응답 쌍으로 구성된다.

두 번째 단계는 Agentic Cross-Verification 루프이다. GT→INF 방향에서는 각 q ∈ Q^{dis}(R_gt)을 R_inf에 증거로 질의해 C_{gt→inf} 카운트를 얻고 INF→GT 방향에서는 Q^{dis}(R_inf)을 R_gt에 질의해 C_{inf→gt} 카운트를 얻는다. Disease-level 정밀도 P_dis, 재현율 R_dis, F1_dis는 P_dis = C_{inf→gt} / N_{inf}, R_dis = C_{gt→inf} / N_{gt}, F1_dis = 2 P_dis R_dis / (P_dis + R_dis)로 계산되며 N_{gt}=N_{inf}=0인 경우 점수는 1로 설정해 정상 연구에 대한 불필요한 패널티를 피한다.

세 번째 단계는 Attribute-level 검증과 최종 집계이다. Attribute 검증은 질병 수준에서 양방향으로 정렬된 소견에 한해 수행되며 질병명 정렬에는 퍼지 문자열 유사도 임계값 θ = 0.8을 적용한다. Attribute 수준의 P_attr와 R_attr를 동일한 방식으로 계산한 뒤 P = 0.5 P_dis + 0.5 P_attr, R = 0.5 R_dis + 0.5 R_attr로 평균화해 최종 F1을 산출한다. 구현 세부에서는 Qwen3-235B-A22B를 백본 엔진으로 사용했으며 디코딩 온도 T = 0을 설정해 결정론적 출력을 확보했다.

전문가 어노테이션 벤치마크와의 비교에서 AtomiMed는 전통적 n-gram 지표와 임상 특화 지표, 그리고 LLM-as-a-Judge 계열을 모두 능가하는 상관성을 보였다. 예컨대 ReXVal에서 AtomiMed는 Spearman ρ = 0.806을 기록해 GREEN의 0.798보다 높았으며 다른 벤치마크에서도 일관되게 우수한 Kendall τ와 Spearman ρ를 보였다. 이 결과는 원자적 사실의 양방향 검증이 방사선과 전문의가 중요시하는 누락과 방향성 오류 같은 임상적 결함을 더 잘 포착하기 때문임이 확인됐다.

모델 선호도 비교의 Dimensionless Pairwise 실험에서 AtomiMed는 X-ray에 대해 ACC 95.71%, Kendall τ = 0.9807, MAE = 0.0214를 달성해 GREEN과 전통적 지표보다 현저히 낮은 오류율을 보였다. GREEN은 흉부 중심 훈련 도메인 밖에서는 성능이 급락해 CT와 MRI에서 상관계수가 크게 떨어진 반면 AtomiMed는 CT에서 ACC 84.33% 등을 유지해 모달리티 간 일관성을 보였다. 이 결과는 OmniMRG-Bench의 다중 모달 구성과 계층적 검증 설계가 모달리티 편향을 완화했음을 시사한다.

세부 분석에서는 모델들이 속성별로 비균등한 성능을 보였다. Morphology 항목에서는 전반적으로 높은 점수를 기록한 반면 Severity와 Size 항목에서는 낮은 성능 분포가 관찰되었고 일부 모델은 Severity에서 거의 최저치에 가까운 결과를 보였다. 질병 수준에서는 호흡기 계통에 대한 편향적 성능 집중이 관찰되어 특정 해부학적 영역에서의 데이터 부족이나 사전학습 편향이 결과에 영향을 미친 흔적이 드러났다.

전체 아키텍처는 입력 보고서에 대해 Instruction-tuned LLM ℳ을 이용해 JSON 형식의 계층적 QA를 생성하는 추출기와 생성된 QA를 상대 보고서에 질의하는 Agentic Cross-Verification 루프, 그리고 매칭 결과를 집계하는 점수화 모듈로 구성된다. 논문 구현에서는 Qwen3-235B-A22B를 핵심 LLM 백본으로 사용했으며 디코딩 온도 T = 0을 적용해 결정론적 출력을 확보했다. 파싱 파이프라인은 LLM 출력의 JSON 유효성 검사를 수행해 구조화된 QA 쌍을 안정적으로 얻도록 설계되었다.

질병명 정렬은 퍼지 문자열 유사도를 사용하며 논문은 임계값 θ = 0.8을 채택해 표면형 간 매칭을 수행한다. Attribute-level 검증은 질병이 양방향으로 정렬된 경우에만 조건부로 수행되며 이로써 잘못 정렬된 소견으로 인해 속성 점수가 왜곡되는 것을 방지한다. Disease-level과 Attribute-level의 정밀도와 재현율은 각각 계산된 뒤 두 수준을 동일 가중치로 평균화해 최종 P, R, F1을 산출한다.

데이터 측면에서는 OmniMRG-Bench가 X-ray, CT, MRI, Ultrasound를 포함하며 9개 해부학 시스템과 6개 속성 카테고리를 포괄한다. 벤치마크는 178K 이상의 전문가 검증 ACF 쌍을 포함하며 속성별 통계는 location 약 62.9K, size 약 31.5K로 보고되었다. 평가 프로토콜은 radiologist-correlation 연구와 Dimensionless Pairwise 선호도 연구를 포함하며 상관계수로 Kendall τ와 Spearman ρ를 사용하고 순위 비교에는 MAE와 ACC를 병행 사용한다.

실험적 구현 세부에서는 GT→INF와 INF→GT의 질의 결과를 카운트해 C_{gt→inf}와 C_{inf→gt}를 얻고 P_dis, R_dis, F1_dis를 정의했다. 모든 계산은 원문 수식과 동일한 수학적 정의를 따라 수행되며 N_{gt}=N_{inf}=0인 경우 점수를 1로 설정하는 예외 처리를 포함해 정상 소견에 대한 부당한 페널티를 제거했다.

논문은 현재 접근이 LLM 기반 검증에 의존하므로 추론 비용이 높아 대규모 실무 적용을 위해서는 경량화된 증류 백본이 필요하다고 명시했다. 속성 계층 확장과 종적 비교(longitudinal imaging)로의 확장은 향후 연구 과제로 남아 있어 현재는 시간적 변화나 장기 추적 평가에 즉시 적용하기에 제약이 있다. 벤치마크는 X-ray, CT, MRI, Ultrasound를 포괄하지만 추가 임상 전문 분야로의 확장 필요성이 존재한다.