의료 초음파 영상 분할을 위한 준지도 및 대조 학습 기반의 다중 스케일 스위치 (Switch) 프레임워크

초음파 영상은 노이즈가 많고 경계가 불분명하여 숙련된 전문가의 수동 작업이 필수적이지만, 라벨링 비용이 매우 높다는 한계가 있다. 이 논문은 아주 적은 양의 정답 데이터만으로도 고성능 분할 모델을 학습시키는 기술을 제안하여, 의료 현장의 진단 효율성을 높이고 의료진의 업무 부담을 획기적으로 줄일 수 있는 길을 열었다.

딥러닝 모델이 초음파 영상을 정확히 이해하려면 대량의 정답지가 필요하지만 현실적으로는 불가능에 가깝다. 특히 초음파 특유의 자글자글한 노이즈는 모델이 사물의 진짜 형태를 파악하는 데 큰 방해가 된다. 이 논문은 '스위치(Switch)'라는 개념을 통해 이 문제를 해결한다.

먼저 공간 영역에서는 큰 조각과 작은 조각을 섞는 MSS를 통해 모델이 다양한 크기의 병변을 놓치지 않게 훈련시킨다. 이어 주파수 영역에서는 FDS를 사용해 영상의 '뼈대(위상)'는 그대로 두고 '겉모습(진폭)'만 다른 영상과 바꾼다. 이는 마치 사람의 골격은 유지한 채 피부색이나 옷만 바꿔 입히는 것과 같다.

이렇게 만들어진 '변형된 영상'과 '원본 영상'이 같은 위치에서 동일한 구조적 특징을 가져야 한다는 '대조 학습' 원리를 적용하면, 모델은 겉모습(노이즈나 밝기)에 현혹되지 않고 장기의 실제 구조적 특징을 정확하게 학습하게 된다. 결과적으로 아주 적은 데이터만으로도 노이즈에 강한 정밀한 진단이 가능해진다.

본 논문은 Teacher-Student 아키텍처를 기반으로 하며, 인코더-디코더 구조의 U-Net을 백본으로 사용한다. Student 네트워크는 직접 학습되고, Teacher 네트워크는 Student의 가중치를 지수 이동 평균(EMA) 방식으로 업데이트하여 안정적인 의사 라벨을 생성한다.

MSS (Multiscale Switch) 단계에서는 $p$개의 조밀한 패치($128 \times 128$)와 $q$개의 미세한 패치($32 \times 32$)를 무작위로 섞어 마스크 $M$을 생성한다. [입력 영상 $x_1, u_1$과 마스크 $M$을 입력으로] → [원소별 곱셈 연산 $u_1 \odot M + x_1 \odot \sim M$을 수행해] → [혼합된 영상 $u_x$를 얻고] → [이는 라벨이 있는 데이터와 없는 데이터의 특징을 동시에 학습하는 재료가 된다].

FDS (Frequency Domain Switch) 단계에서는 고속 푸리에 변환(FFT)을 통해 영상을 진폭($A$)과 위상($P$)으로 분리한다. [두 영상의 진폭 $A_x, A_u$를 입력으로] → [중심부 저주파 영역을 서로 교체하는 연산을 수행해] → [새로운 진폭 $A^r_x, A^r_u$를 얻고] → [원래의 위상과 결합해 역푸리에 변환을 하면] → [구조는 같지만 스타일만 바뀐 영상을 생성하여 대조 학습의 긍정 쌍으로 활용한다].

LN-INT 데이터셋에서 단 5%의 라벨만 사용했을 때 Dice 계수 80.04%를 기록했다. 이는 동일 조건에서 기존 최고 성능 모델인 ABD(76.62%)보다 3.4%p 이상 높은 수치이며, 100% 라벨을 사용한 완전 지도 학습(83.49%)에 근접하는 성과이다.

DDTI(갑상선)와 Prostate(전립선) 데이터셋에서도 5% 라벨링 비율로 각각 85.52%, 83.48%의 Dice 점수를 획득하며 타 모델들을 압도했다. 특히 외부 테스트셋인 LN-EXT에서도 일관된 성능 우위를 보여 병원 환경이 달라져도 잘 작동하는 높은 일반화 성능을 입증했다.

Ablation Study를 통해 MSS 모듈이 성능을 기초 대비 15.63%p 끌어올리는 핵심 역할을 수행함을 확인했으며, FDS와 일관성 규제(Consistency Regularization)를 결합했을 때 경계선 정밀도가 가장 높게 나타났다.

전체 프레임워크는 Mean Teacher 구조를 따르며, Student 네트워크는 MSS와 FDS가 적용된 데이터를 통해 학습된다. FDS는 영상의 저주파 성분이 스타일 정보를, 고주파 성분이 경계 정보를 담고 있다는 특성을 이용한다. 위상 정보를 엄격히 보존함으로써 픽셀 수준의 라벨 정렬을 유지한 채 진폭 스펙트럼만 혼합하여 강력한 데이터 증강 효과를 낸다.

손실 함수는 MSS 손실($L_{mss}$), 대조 학습 손실($L_{cont}$), 일관성 규제 손실($L_{consist}$)의 가중 합으로 구성된다. $L_{cont}$는 InfoNCE loss를 사용하여 동일 위치의 특징 벡터 간 유사도를 극대화하며, $L_{consist}$는 원본 혼합 영상과 FDS 변형 영상 간의 출력 일관성을 강제하여 모델의 강건성을 높인다.

초음파 영상 특유의 스펙클 노이즈와 저대조 경계에 최적화되어 설계되었으므로, CT나 MRI 등 다른 의료 영상 모달리티에 직접 적용할 경우 성능이 제한적일 수 있다. 또한 2단계 학습 과정과 FFT 연산으로 인해 학습 시 추가적인 계산 비용이 발생한다.