MedPMC: 문헌 기반 퍼블릭 코퍼스로 구축한 고충실 의료 멀티모달 데이터와 그 응용

의료 영역에서는 다중 모달 신호를 통합하는 모델이 임상적 가치를 제공할 가능성이 크지만, 대규모 고품질 공개 멀티모달 데이터가 부족해 모델 일반화와 재현성에 제약이 있었다. MedPMC는 공개된 학술 문헌을 자동으로 가공해 임상 관련 이미지와 패널 단위 캡션을 정합한 고충실 데이터 인프라를 공급함으로써 이 병목을 직접적으로 완화했다. 이 접근은 문헌의 계속적 확장을 반영해 주기적 업데이트가 가능하고, 동일한 아키텍처에서 훈련한 모델의 품질을 데이터 품질 수준에서 개선했음이 실험으로 확인됐다.

의료 멀티모달 모델 학습에는 높은 품질의 이미지-텍스트 정합이 필수이며, 논문 그림을 그대로 사용하면 비의료 그래프·다이어그램과 복합 패널 때문에 신호 대 잡음비가 크게 낮아진다. 기존 큰 규모의 PMC 유래 코퍼스는 양적 규모는 크지만 의료 관련성이나 패널 단위 정렬이 부족해 학습 효율이 떨어졌다. 따라서 문헌을 대규모로 활용하려면 문헌 특유의 실패 모드를 정확히 제거하고 패널 단위로 정합을 확보하는 데이터 전처리 설계가 필요하다. MedPMC의 핵심 해법은 텍스트 기반 선별과 패널 분해, 그리고 MLLM을 이용한 캡션 분리·정렬을 결합한 모듈화된 파이프라인이다. 첫 단계에서 캡션과 인라인 문맥을 결합한 텍스트 분류(PubMedBERT)를 통해 다운로드 전 후보를 좁혀 비의료 이미지 전송·저장 비용을 줄였다. 이후 Vision Transformer와 YOLOv10 계열 모델로 다중 패널을 감지·분리하고, InternVL 계열의 MLLM으로 전체 그림과 분리된 서브패널을 함께 입력해 서브캡션을 생성·정렬함으로써 패널-캡션 정합도를 크게 향상시켰다. 이 데이터 품질 개선은 대비 학습 기반의 시각-언어 표현 학습에 직접적으로 전이되었다. MedPMC로 학습한 CLIP 스타일 비전-언어 모델은 동일 아키텍처와 훈련법을 유지한 비교 실험에서 더 적은 데이터로도 평균 AUC를 유의미하게 향상시켰다. 또한 해당 비전 인코더를 MLLM 파이프라인에 교체했을 때 시각 중심 질의응답과 임상 이미지 검색 성능이 실질적으로 개선되어, 데이터 정제의 마진 이득이 모델 성능 개선으로 연결됨이 실험적으로 확인됐다.

파이프라인은 다섯 단계로 구성되어 각 단계에 전용 학습 데이터와 검증 벤치마크가 매핑되어 있다. 첫 단계는 캡션과 인라인 참조 텍스트를 연결해 PubMedBERT 기반 분류기로 의료 관련 그림 후보를 선별했고, 두 번째 단계는 Vision Transformer로 다중 패널 여부를 분류해 패널 분해 대상만 다운로드하도록 했다. 세 번째 단계에서는 YOLOv10 기반 객체 탐지기로 서브패널 바운딩박스를 예측해 그림을 평균 9.2개의 서브패널로 분해했다. 네 번째 단계는 캡션 분리와 서브패널-서브캡션 정렬을 하나의 MLLM 태스크로 처리했다. 원본 복합 그림, 분해된 서브패널, 전체 캡션을 입력으로 받아 서브캡션 목록을 생성하고, 생성된 서브캡션 수가 서브패널 수와 일치하지 않으면 샘플을 제거해 정합성을 확보했다. 이 단계의 학습 데이터는 MedICaT의 수동 라벨과 PMC 유래 합성 예시를 조합해 확장했다. 마지막으로 분해된 서브패널을 Vision Transformer 분류기로 의료 관련 여부를 판정해 최종 코퍼스를 구축했다. 각 구성요소의 성능 평가는 별도 벤치마크(초기 스크리닝 F1=93.2, 다중 패널 탐지 F1=96.5, 패널 분해 mAP=89.8, 캡션 정렬 F1=81.4 등)를 사용해 모델 선택과 하이퍼파라미터 튜닝에 반영했다.

MedPMC 최종 코퍼스는 3.1M 다중 패널 그림-캡션 쌍, 0.6M 단일 패널 쌍, 그리고 7.3M 서브패널-서브캡션 쌍을 포함해 총 약 11M의 의료 이미지-텍스트 페어로 구성됐다. 수동 검토(5명, 그중 3명은 의료 교육자)가 실시된 샘플에서 MedPMC의 의료 관련성은 95.3%로 확인되었고, 기존 BIOMEDICA 샘플의 의료 관련성은 19.7%로 나타나 데이터 품질 차이를 정량화했다. 분포 관찰 결과 MedPMC는 방사선, 병리, 안과, 내시경, 피부과 등 임상적으로 중요한 영상 기법을 폭넓게 포함했다. 동일한 OpenCLIP ViT-L/14 초기화와 훈련 스케줄을 유지한 채 MedPMC로만 재학습한 MedPMC-CLIP은 26개 벤치마크(11개 전문 분야 평균)에서 BMC-CLIP 대비 평균 AUC를 7.1 포인트 향상시켰다(95% CI 6.3–8.0). LLaVA-Med 파이프라인에서 시각 인코더만 MedPMC-CLIP으로 교체했을 때 OmniMedVQA에서 16.9 포인트, MMMU에서 1.9 포인트의 개선이 관찰돼 시각 인코더 품질이 멀티모달 추론 성능에 미치는 영향을 확인했다. 임상 전이 검증으로는 YNHHS의 10,524 피부과 환자 이미지에서의 morphology→image 검색에서 Recall@5가 BMC-CLIP 대비 11.7 포인트 상승해 실제 환자 데이터로의 전이성이 확인됐다.

전체 아키텍처는 단계별로 서로 다른 모델을 적용하는 모듈형 파이프라인이다. 텍스트 선별은 PubMedBERT 기반 이진 분류로 캡션과 인라인 텍스트를 결합해 의료 관련 후보를 판별했고, 이미지 단계에서는 Vision Transformer를 다중 패널 탐지와 의료 분류용 백본으로 사용했다. 패널 분해는 YOLOv10 계열 객체 탐지기에서 바운딩박스를 예측해 평균 9.2개의 서브패널을 추출했다. 캡션 분리·정렬은 InternVL-2.5-4B 기반의 MLLM을 사용해 원본 다중 패널 그림, 분해된 서브패널, 전체 캡션을 입력으로 서브캡션 목록을 직접 생성했다. 생성된 서브캡션의 수와 서브패널 수가 일치하지 않는 경우를 제거해 페어 정확도를 우선시했고, 학습 데이터는 MedICaT의 라벨과 GPT 기반 합성 예시를 병합해 확장했다. 대비 학습 단계에서는 OpenCLIP ViT-L/14 초기화를 유지하고 배치 사이즈 8192, learning rate 1e-6 등의 기존 BMC-CLIP 훈련 설정을 그대로 적용해 데이터셋 차이가 성능 변화의 주원인임을 고립시켰다. 임베딩 유사도 비교는 DINOv2 임베딩으로 최근접 이웃 코사인 거리를 계산하고 UMAP으로 시각화해 문헌 유래 피부 사진과 병원 기반 사진의 분포 일치를 정량화했다. 통계적 유의성 평가는 paired bootstrap(10,000 반복)로 신뢰구간을 산출했고, 각 실험에서 동일한 재샘플링을 두 모델에 동일하게 적용해 비교의 공정성을 확보했다.

MedPMC는 주로 이미지-텍스트 페어에 초점을 맞추어 표 형식 데이터, 구조화된 임상 수치, 장기간 환자 레코드와 같은 복합적 임상 모달리티는 포함하지 않았다. 원문 캡션 품질의 분산, 출판 바이어스(대표 사례·시각적으로 뚜렷한 사례 선호) 등 문헌 특유의 한계가 결과에 반영될 수 있다. 공개 벤치마크와의 완전한 중복 배제를 보장할 수 없으므로 성능 해석 시 아키텍처 통제 실험과 내부 임상 전이 검증을 함께 고려해야 한다.