Lost in the Folds: When Cross-Validation Is Not a Deep Ensemble for Uncertainty Estimation

의료 영상 분할에서 불확실성 추정은 임상 의사결정의 신뢰성에 직접 영향을 준다. 이 논문은 5-fold CV와 5-member DE를 같은 조건에서 비교해, 각 방식이 불확실성 평가의 목표에 따라 다르게 작동함을 실험적으로 입증한다. CV 엔샘블은 데이터 노출의 차이를 포함해 모호성까지 일부 반영하는 반면, DE는 보정과 실패 탐지에서 더 일관된 성능을 보인다.

단계적으로 이해하기 위한 출발점

1. 기본 개념: DE는 같은 데이터 D에서 서로 다른 초기화와 학습 경로로 M개의 모델을 학습하고, p(y|x,D) ≈ (1/M)∑p(y|x,θm)로 전체 예측을 구성한다. 이는 모델 파라미터의 불확실성(에피스테믹 불확실성)을 재현한다.
2. 문제 진술: CV 엔샘블은 서로 다른 Dtrain_k로 학습된 K개 모형의 가중 합으로 예측을 구성한다. p(y|x) ≈ (1/K)∑p(y|x,θk)로, 데이터 서브샘플링으로 인한 데이터 노출의 차이가 불확실성과 함께 나타난다.
3. 해결 원리: DE는 동일 데이터에 대한 모드 간 차이를 통해 진정한 불확실성을 추정하고, CAL/FD 측면에서 강점이 나타난다. CV 엔샘블은 데이터 분할로 인한 불확실성까지 포함하므로, 특정 상황에서 애매성(ambiguous) 상황을 더 잘 포착할 수 있다.
4. 달라지는 점: 실험에서 DE는 CAL과 실패 탐지에서 우수한 성능을 보였고, CV는 CURVAS/RIGA에서 인터-래터 애매성과의 상관성을 더 잘 보여주는 경향이 있었다. 분포 외(out-of-distribution) 상황에서도 차이는 있지만 일관된 우위는 트랜잭션에 따라 달라진다.

입력: 이미지 x, 시그널 y(다수의 라이터 마스크)로 구성된 멀티래터 세트. 학습은 nnU-Net v2.4.1의 풀 해상도 구성으로, ResEncM 프리셋과 기본 하이퍼파라미터를 사용한다. DE는 D로 고정된 훈련데이터에서 M=5 모델을 학습하고, CV는 5-fold로 분할된 Dtrain_k에서 각 모델 θk를 학습한다. 패스: 각 모델의 클래스 확률 pm을 얻고, 엔샘블리의 평균 확률 p¯c(v)로 y¯(v)를 구한다. 평가 지표: Dice DSC(y, y∗)를 통해 성능을 측정하고, ACE, BA-ECE, NCC, GED, AURC를 통해 보정/모호성/실패 탐지를 평가한다. OOD 평가를 위해 CURVAS, GoldAtlas, RIGA에 대해 도메인 시프트를 설정했다.

주요 결과는 다음과 같다. ID에서 DE는 DSC가 GoldAtlas 85.2(74.3,88.9) 대 CV 84.6(74.6,88.4) 등으로 비등하게 유지되나, CAL(ACE)에서 DE 16.7(14.7,18.7) 대 CV 19.3(17.5,21.1)으로 더 나은 보정을 보였다. BA-ECE는 DE가 6.4(5.2,8.5)로 CV의 7.1(5.7,8.8)보다 낮아 보정 성능이 우수했다. NCC는 CURVAS에서 DE 49.2(47.3,51.8) 대 CV 50.3(51.6,57.0)으로 약간 낮아 모호성 반영이 다를 수 있음을 시사했다. GED는 CURVAS에서 DE 9.2(7.5,12.1) 대 CV 8.8(7.2,11.3)로 혼합적 차이가 관찰되었다. 실패 탐지(AURC)는 GoldAtlas에서 DE 9.3(8.7,13.9) 대 CV 9.7(8.9,13.8)로 DE가 조금 더 안정적이었다. OOD 구간에서 DE의 이점은 일부 지표에서 더 두드러졌으나 일관성은 데이터셋에 따라 달랐다. 종합하면, DE는 보정과 실패 탐지에서 일관된 이점을 제공하는 반면, CV는 애매성 모델링에 더 적합할 수 있으며, 연구 목적에 따라 엔샘블 구성이 달라져야 한다.

단락 1: 전체 아키텍처 구조: 동일 데이터 D를 사용한 DE(M=5)와 5-fold CV의 구조적 차이점 설명. 단락 2: 핵심 메커니즘의 수학적 기반: DE에서 p(y|x,D) ≈ (1/M)∑p(y|x,θm); CV에서 p(y|x) ≈ (1/K)∑p(y|x,θk). 단락 3: Prior work 대비 차별점: DE는 같은 데이터에서의 파라미터 불확실성에 기반한 추정, CV는 데이터 하위집합으로 인한 데이터 노출 차이로 인한 불확실성의 혼합. 단락 4: 구현 및 학습 세부사항: nnU-Net v2.4.1 풀 해상도 구성, 80% 학습/20% 검증의 5-fold CV, DE는 모든 학습 데이터로 5 모델 학습. 단락 5+: 평가 방법론: voxel 단위 확률 및 경계 보정, 예측 엔트로피 기반 NCC/GED, 실패 탐지 AURC, 부트스트랩 CI.