Chest X-ray 추론을 위한 시각적 귀속 재고: 대형 비전-언어 모델에서의 인과적 평가 프레임워크 및 의학적 귀속 메커니즘 MedFocus

대형 Vision-Language 모델(LVLM)은 의료 분야에서 활용도가 높아졌지만 입력 영상의 시각적 증거에 대한 Grounding이 불충분하여 임상 신뢰에 위험이 있다. 기존 Attribution 방법은 내부 추론과 실제 근거가 일치하는지 확인하기 어렵고 Ground-Truth가 제한적이다. 이 연구는 Chest X-ray(CXR) 데이터에 대해 Ground-truth Attribution의 인과적 타당성을 검증하는 MedGround-Bench를 제시하고, 지역적 임상 개념에 기반한 MedFocus를 통해 시각적 근거를 공간-개념-토큰 차원에서 인과적으로 측정한다. 실험은 11개 Attribution 방법, 6개 LVLM, 3개 CXR 데이터셋, 2가지 출력 모드에서 수행되며, MedGround-Bench를 통해 기존 방법의 한계를 확인하고 MedFocus의 향상을 보여준다.

출발점: LVLM은 다중 모달 데이터를 다루지만, 예측에 사용된 시각적 근거를 사람처럼 명확히 식별하기 어렵다. 기존 시각적 귀속 기법은 픽셀 단위나 내부 표현에 의존하는 경우가 많고, Ground-Truth가 불완전해 신뢰도 평가가 불가능했다. 의학 영상에서 근거의 신뢰성은 임상 의사결정의 안전성과 직결된다.

2-단계 프레임워크를 제시한다. 첫째, Ground-truth 근거를 포함하는 VQA 샘플을 활용해 MedGround-Bench를 구축한다. 둘째, MedFocus를 통해 의학 해부학적 개념을 매핑하고, 각 개념에 대해 카오스(인과적) 개입을 수행해 모델 출력의 변화를 측정한다. 변화를 Δc로 정의하고, 가장 큰 Δc를 보인 개념 c*를spatial attribution, concept-level 설명, token-level attribution으로 제시한다.

MedGround-Bench Direct 모드에서 MedFocus의 IoU/F1는 ImaGenome에서 54.24/67.54로 baselines를 능가한다(다른 데이터셋도 개선). PadChest-GR의 IoU는 32.77, VinDR-CXR은 14.81로 나타난다. Reasoning 모드에서도 MedFocus의 IoU는 ImaGenome에서 52.95로 강건하게 높은 편이다. Ablation에서 UOT+MedSAM 조합이 가장 우수한 위치를 차지하며, Bounding box 인터벤션이 세그멘테이션 마스크보다 우수한 인과 신호를 제공한다. MedFocus의 평균 추론 시간은 약 1.65초이다.

아키텍처: MedGround-Bench는 ImaGenome/VinDR-CXR/PadChest-GR의 Ground-truth를 VQA로 재구성하고, Correctness Filtering, Foreground Counterfactual Editing, Background Counterfactual Editing의 3단계 카우설 필터링으로 Ground-truth Attribution의 인과성을 검증한다. MedFocus는 11개 해부학 개념의 벡터화를 위해 Unbalanced OT를 이용해 reference-normal 이미지를 target 이미지로 매핑하고, MedSAM으로 마스크를 정제한다. 개입은 개념 마스크의 경계 상자(Bounding box)를 0으로 마스킹하여 x˜c를 생성하고, 로그확률의 누적 감소 Δc를 계산해 출력을 변화시키며, 가장 큰 Δc를 보인 c*를 Attribution으로 선택한다. rc = exp(−Δc)로 개념의 기여를 판단해 어떤 개념도 기여하지 않는 경우 전체 이미지를 attribution으로 사용한다.

한계로는 CXR에 특화되어 있어 다른 영상 모달리티에의 확장은 별도 도메인 편집 모델과 데이터가 필요하다는 점이다. 또한 평가 데이터는 이진 VQA 구성이며, 일반적인 진단 보고서나 다단계 추론과 같은 확장에는 추가 검증이 필요하다.