대형 비전 모델의 토큰 기반 이중 뷰 융합 및 적응을 통한 유방암 분류

진단 과정에서 CC와 MLO 두 뷰의 보완적 정보를 결합하는 것은 인간 판독에서 핵심적이며, 이 논문은 그러한 임상적 요구를 대형 비전 모델의 동결된 백본 안에서 토큰 수준으로 구조화하여 처리할 수 있음을 보였다. 프롬프트 기반 적응과 fusion token을 결합하면 전체 모델 파라미터를 미세조정하지 않고도 뷰 간 정보 교환을 계층적으로 유지할 수 있다. 이 접근은 제한된 레이블 데이터와 큰 사전학습 백본을 갖는 의료영상 과제에서 파라미터 효율성과 뷰 상보성 유지라는 두 가지 요구를 동시에 충족시키는 대안이 된다.

기존 다중 뷰 융합 방식은 보통 특성 수준에서 한 번에 통합하거나 잔차적 추가로 정제해 뷰별 표현과 교차-뷰 표현이 뒤섞이게 되는 문제가 있다. 이 논문은 교차-뷰 정보를 별도의 토큰으로 요약해 삽입하면 뷰별 구조는 보존하면서도 뷰간 의존성을 명시적으로 전달할 수 있다는 점에 주목했다. 토큰은 transformer의 자연스러운 처리 단위이므로 이후 레이어에서 다른 시각 토큰들과 동일한 처리 흐름으로 정제될 수 있다.

전체 접근은 두 단계로 구성되며 첫 단계는 심층 공유-뷰 프롬프트 학습, 두 번째 단계는 토큰 기반 교차-뷰 융합이다. 심층 공유-뷰 프롬프트에서는 J개의 레이어( J ≤ K )에 각기 하나의 프롬프트 토큰을 삽입해 입력 임베딩과 함께 레이어에 공급하고, 프롬프트와 분류기만 학습시키며 백본과 pooling head는 동결했다. 교차-뷰 융합 단계에서는 CC와 MLO의 중간 히든 상태 H_cc, H_mlo에 대해 양방향 multi-head cross-attention을 계산하고 그 출력을 토큰 차원에서 평균 풀링하여 t_cc, t_mlo를 생성한 뒤 각 뷰의 토큰 시퀀스 앞에 삽입했다.

메인 벤치마크에서 제안한 전체 프레임워크는 VinDr-Mammo 5-클래스에서 F1-score 50.40%와 AUC 0.8090을 기록했고 CMMD에서는 F1 64.96%와 AUC 0.7161을 달성했다. Linear probing 대비 개선이 관찰되었고 Stage1(프롬프트)와 Stage2(융합)의 결합이 전체 성능에 상호 보완적 영향을 미쳤다. Fusion token 대 Residual fusion 비교에서 VinDr-5 기준 F1 상승 5.22 포인트 및 AUC +0.0521이 보고되었고, 평균 풀링이 융합 토큰 집계 방식 중 최선의 성능을 나타냈다.

전체 아키텍처는 MedSigLIP pretrained vision Transformer를 백본으로 사용하고 입력은 CC와 MLO 각 이미지의 패치 임베딩이다. Stage1에서는 J개의 레이어에 각각 하나의 학습 가능한 프롬프트 토큰 p_i를 삽입하고 H_i = V_i([p_i, H_{i-1}]) 형태로 레이어 입력을 구성하며 J 이후 레이어는 기존 흐름을 유지했다. Stage2의 Cross-View Fusion Block에서는 A_cc = MHA(H_cc, H_mlo, H_mlo) 및 A_mlo = MHA(H_mlo, H_cc, H_cc)를 계산하고 token 차원 평균풀링으로 t_cc, t_mlo를 생성한 뒤 H'_cc = [t_cc, H_cc], H'_mlo = [t_mlo, H_mlo]로 갱신해 이후 레이어에서 함께 정제하도록 했다.

데이터셋 자체의 클래스 불균형이 존재하며 VinDr-Mammo에서 각 BI-RADS 클래스 분포가 크게 편향되어 있어 성능 해석 시 주의를 요한다. 프롬프트 깊이와 융합 블록의 수 및 배치에 민감성이 있어 하이퍼파라미터 튜닝이 필요하며 지나치게 많은 융합 블록은 오히려 성능 저하를 유발했다. 제시된 결과는 MedSigLIP 백본과 특정 전처리(예: CLAHE, 448×448 리사이즈)에 의존하므로 다른 백본이나 전처리 설정에서는 재검증이 필요하다.