ECG-Reasoning-Benchmark: 심전도 해석의 임상적 추론 능력 평가를 위한 벤치마크

기존 MLLM은 심전도 진단 시 그럴듯한 설명을 생성하지만 실제 신호 데이터와 논리적으로 연결하지 못하는 환각 문제가 심각하다. 이 논문은 단순 정확도가 아닌 단계별 추론 과정을 검증하는 벤치마크를 제시하여 의료 AI가 신뢰할 수 있는 진단 근거를 갖추도록 유도하는 중요한 이정표를 마련했다.

심전도 해석은 단순히 이미지를 분류하는 작업이 아니라 P파, QRS 복합체 등 특정 파형의 간격과 모양을 측정하고 의학적 기준에 대입하는 복잡한 연역적 과정이다. 기존의 MLLM 평가는 최종 진단명이나 텍스트 설명의 유창함에만 집중하여 모델이 실제 신호를 보고 판단한 것인지 아니면 학습 데이터의 통계적 패턴을 흉내 낸 것인지 구분하기 어려웠다.

이 논문은 모델에게 단순히 진단명을 묻는 대신 진단을 위해 어떤 기준을 봐야 하는지, 그 기준에 해당하는 파형이 어디에 있는지, 측정값이 얼마인지를 단계별로 묻는 방식을 취한다. 이는 딥러닝의 Attention 메커니즘이 특정 입력값에 집중하는 것과 유사하게 모델의 논리적 전개 과정이 실제 데이터의 물리적 특징에 뿌리를 두고 있는지 검증하는 원리이다.

실험 결과 모델들은 심방세동 진단을 위해 P파 부재를 확인해야 한다는 지식은 잘 인출하지만 정작 심전도 신호에서 P파가 없는 구간을 정확히 지목하거나 간격을 측정하는 데 실패했다. 이는 현재의 의료 AI가 지식은 있지만 관찰과 논리를 연결하는 능력이 부족함을 시사하며 향후 연구가 시각적 근거 설정 강화에 집중해야 함을 보여준다.

전체 접근 방식은 자동화된 분석 파이프라인을 통해 정답 추론 경로를 생성하고 이를 바탕으로 모델과 다회차 대화를 진행하는 구조이다. 파이프라인은 U-Net3+ 아키텍처를 사용하여 P파, QRS, T파를 검출하고 생리학적 규칙 기반의 포스트 프로세싱을 거쳐 정확한 파형 경계를 확정한다. [12리드 심전도 신호 입력 → U-Net3+를 통한 파형 확률 맵 생성 → P, QRS, T파의 시작과 끝 지점 출력 → 임상적 특징 추출을 위한 기초 데이터로 활용]

핵심 메커니즘인 4단계 검증 루프는 다음과 같이 구성된다. 1단계 Criterion Selection에서는 진단에 필요한 의학적 기준을 선택한다. 2단계 Finding Identification에서는 해당 기준이 현재 신호에 존재하는지 판단한다. 3단계 ECG Grounding에서는 리드 선택, 파형 위치 지목, 수치 측정을 수행한다. 4단계 Diagnostic Decision에서는 도출된 소견을 종합하여 최종 진단을 내린다.

평가 지표로는 초기 진단 정확도(IDA), 전체 추론 단계를 완수한 비율(Completion), 평균적으로 도달한 추론 깊이(Depth, 0~4점), 완벽한 추론 경로가 주어졌을 때의 진단 정확도(GT-RDA)를 사용한다. [정답 소견 개수 N → 각 소견당 4단계 루프 수행 → 성공한 단계 합산 후 N으로 나눔 → 평균 깊이 도출]

최신 MLLM들의 추론 완수율(Completion)은 6% 미만으로 매우 낮게 나타났다. Gemini-3-Flash가 PTB-XL 데이터셋에서 6.26%로 가장 높았으며 대부분의 모델이 1~5% 수준에 머물렀다. 이는 모델들이 개별적인 의학 지식은 알고 있으나 이를 실제 신호와 연결하여 결론까지 도달하는 논리적 지속성이 부족함을 의미한다.

추론 깊이(Depth) 분석 결과 대부분의 모델이 1.0~2.0 사이의 점수를 기록했다. 이는 모델들이 1단계인 기준 선택은 성공하지만 2단계 소견 식별과 3단계 신호 그라운딩에서 급격히 무너짐을 보여준다. 즉 무엇을 봐야 하는지는 알지만 어디에 있는지와 실제 값이 얼마인지를 파악하지 못하는 병목 현상이 확인됐다.

완벽한 추론 경로를 힌트로 제공했을 때(GT-RDA) 일반 목적 모델인 Hulu-Med 32B는 정확도가 99%까지 급상승한 반면 ECG 전용 모델인 ECG-R1-RL은 오히려 성능이 하락하는 현상이 관찰됐다. 이는 전용 모델들이 논리적 추론보다는 전체적인 신호 패턴 매칭에 과적합되어 있음을 시사한다.

벤치마크는 PTB-XL과 MIMIC-IV-ECG 데이터셋에서 추출한 6,400개 이상의 샘플로 구성된다. 각 샘플은 전문의가 검증한 17개 카테고리의 진단 논리 다이어그램을 기반으로 하며 총 51,122개의 질문-답변 쌍을 포함한다.

자동화 파이프라인의 Wave Detection 모듈은 U-Net3+를 기반으로 하며 12리드 심전도를 개별적으로 처리한 후 4리드 합의 알고리즘을 통해 전역적인 파형 경계를 확정한다. 이는 기존의 단순 딥러닝 분류기보다 세밀한 생리학적 특징 추출을 가능하게 한다.

평가 과정에서 모델의 응답은 Gemini-3-Flash를 판사로 활용하여 시맨틱 일관성을 검증한다. 이는 단순 문자열 매칭의 한계를 극복하고 모델이 의학적으로 동일한 의미를 다르게 표현했을 때 발생할 수 있는 오차를 줄여준다.

실험에 사용된 모델 군은 ECG 특화 모델(PULSE, GEM 등), 의료 도메인 모델(Hulu-Med 등), 일반 멀티모달 모델(GPT-4o, Gemini 등)을 망라하여 현재 기술 수준의 포괄적인 베이스라인을 제시한다.

실제 임상 현장에서 발생하는 진단의 불확실성이나 모호한 사례를 의도적으로 배제하고 명확한 정답이 있는 샘플만 사용했다는 한계가 있다. 또한 숙련된 의사가 사용하는 직관적 휴리스틱 대신 교과서적인 순차적 검증만을 강제하여 실제 진료 흐름과는 차이가 있을 수 있다.