Project Imaging-X: 파운데이션 모델 개발을 위한 1000개 이상의 오픈 소스 의료 영상 데이터셋 서베이

의료 AI 분야는 데이터 파편화와 개인정보 보호 문제로 인해 대규모 파운데이션 모델 학습에 필요한 데이터를 확보하기가 매우 어렵다. 이 논문은 1,000개 이상의 데이터셋을 체계적으로 분류하고 통합하는 표준 가이드라인을 제공하여, 의료 영상 연구의 진입 장벽을 낮추고 고성능 모델 개발을 가속화하는 실무적 로드맵을 제시한다.

딥러닝 모델의 성능은 데이터의 양과 다양성에 비례하지만, 의료 영상 분야는 전문 지식과 엄격한 윤리 규정 때문에 데이터가 수천 개 단위로 쪼개져 고립된 데이터 사일로 상태에 머물러 있다. 이는 수십억 개의 데이터를 사용하는 일반적인 Foundation Model 학습 방식과 큰 차이를 보이며, 모델의 일반화 성능을 제한하는 근본적인 원인이 된다.

이 논문은 이러한 파편화 문제를 해결하기 위해 개별 데이터셋을 단순히 합치는 것이 아니라, 메타데이터를 기준으로 정렬하고 조화시키는 방식을 취한다. 이는 마치 서로 다른 언어로 쓰인 책들을 하나의 도서관 분류 체계로 묶어 거대한 지식 베이스를 만드는 것과 같다. 이 과정을 통해 연구자들은 흩어져 있던 작은 데이터셋들을 하나의 거대한 가상 데이터셋으로 취급하여 학습에 활용할 수 있게 된다.

결과적으로 의료 분야에서도 수백만 장 이상의 대규모 사전 학습이 가능해지며, 특정 장기나 모달리티에 편향되지 않은 더 강력하고 범용적인 의료 AI 모델을 구축할 수 있는 토대가 마련된다.

MDFP(Metadata-Driven Fusion Paradigm)는 4단계의 순차적 프로세스로 구성된다. 1단계인 메타데이터 조화(Harmonization)에서는 UMLS 및 MeSH와 같은 표준 의학 용어 체계를 사용하여 서로 다른 데이터셋의 설명을 통일된 기계 판독 가능 형식으로 변환한다. [데이터셋 설명 텍스트 → 표준 용어 매핑 → 통일된 메타데이터 테이블]

2단계인 의미론적 정렬(Semantic Alignment)은 추상적인 머신러닝 작업 명칭을 실제 임상적 의미와 연결한다. 예를 들어, 단순한 'Segmentation' 레이블을 '병변 경계 식별'이라는 구체적인 임상 목표와 일치시켜 데이터 간의 논리적 연결성을 확보한다. [작업 유형 레이블 → 임상적 목적 분석 → 정렬된 작업 카테고리]

3단계인 융합 청사진(Fusion Blueprints) 설계에서는 모달리티, 작업, 해부학적 구조의 조합을 평가하여 통합 가능한 데이터 클러스터를 생성한다. 이때 데이터 볼륨과 주석의 품질을 수치화하여 통합의 타당성을 검토한다. [데이터셋 속성 조합 → 클러스터링 연산 → 통합 가능한 데이터 그룹 및 규모 산출]

4단계는 데이터셋 인덱싱 및 공유 단계로, 표준화된 인덱스를 생성하여 커뮤니티가 쉽게 접근하고 재사용할 수 있도록 웹 포털에 등록한다. 연구자는 이 포털을 통해 자신의 연구 목적에 맞는 최적의 데이터 조합을 즉시 식별할 수 있다.

2000년부터 2025년까지의 데이터셋을 전수 조사한 결과, 502개의 2D 영상 데이터셋과 591개의 3D 볼륨 데이터셋(총 124만 개 이상의 볼륨)을 확보했다. 모달리티 측면에서는 병리학(Pathology)과 X-ray가 가장 큰 비중을 차지했으며, 장기별로는 뇌(Brain)와 폐(Lung) 데이터가 가장 풍부한 것으로 나타났다.

MDFP를 적용한 사례 연구에서는 CT, MRI, 안저(Fundus) 영상을 포함한 57개의 데이터셋을 통합하여 2,135,301장의 검증된 2D 영상 코퍼스를 성공적으로 구축했다. 이는 개별 데이터셋만으로는 달성하기 어려운 규모로, 대규모 Foundation Model 학습에 충분한 수준임을 입증했다.

또한, 비디오 데이터셋 77개를 식별하여 수술 단계 인식 및 도구 추적과 같은 시공간 분석을 위한 자원을 정리했다. 전체 데이터셋의 80% 이상이 흉부와 유방 데이터에 집중되어 있어, 복부 장기나 사지 관절 등 상대적으로 소외된 부위에 대한 향후 데이터 수집의 필요성을 수치로 확인했다.

이 연구는 의료 영상의 파편화(Fragmentation) 문제를 해결하기 위해 구조화된 데이터 분류 체계(Taxonomy)를 도입했다. 차원(2D/3D/Video), 모달리티, 작업 유형, 해부학적 부위라는 4가지 축을 중심으로 1,000개 이상의 데이터셋을 계층적으로 조직화하여 데이터 간의 관계를 정의했다.

MDFP의 핵심 기술적 차별점은 원시 픽셀 데이터를 직접 처리하기 전에 메타데이터 수준에서 데이터의 이질성(Heterogeneity)을 해결한다는 점이다. LLM 기반의 정제 과정을 거쳐 비정형 설명을 정형 데이터로 변환함으로써, 수천 개의 데이터셋을 효율적으로 필터링하고 조합할 수 있는 연산 기반을 마련했다.

데이터 통합 과정에서 발생할 수 있는 도메인 시프트(Domain Shift) 문제를 관리하기 위해, 영상 프로토콜, 해상도, 주석의 세밀도(Granularity)를 메타데이터 필드에 명시했다. 이를 통해 연구자는 서로 다른 장비나 환경에서 수집된 데이터 간의 호환성을 사전에 수치적으로 판단할 수 있다.

구현 측면에서는 GitHub Pages를 활용한 정적 웹 애플리케이션 형태의 포털을 구축하여, 서버 측 의존성 없이 클라이언트 사이드에서 대규모 데이터셋 매니페스트를 실시간으로 탐색하고 분석할 수 있도록 최적화했다.

대부분의 데이터셋이 특정 작업(Segmentation, Classification)에 편중되어 있어 실제 임상 의사결정 지원에 필요한 종합적인 요구사항과 괴리가 있다. 또한 멀티모달(영상+텍스트) 데이터셋이 여전히 부족하며, 엄격한 개인정보 보호 규정으로 인해 원시 데이터를 직접 공유하는 데 기술적·법적 한계가 존재한다.