Haiku를 통한 공간 생물학 및 임상 조직학의 연결

기존 암 진단은 조직의 형태(H&E)나 분자 정보(mIF) 중 하나에만 의존해 질병의 전체 맥락을 파악하기 어려웠다. Haiku는 이미지와 분자 데이터, 임상 텍스트를 하나의 공간에 통합하여 데이터 간 교차 검색과 정밀한 생존 예측을 가능하게 한다. 이는 의료진이 복잡한 암 진행 과정을 다각도로 분석하고 개인화된 치료 전략을 세우는 데 기여한다.

기존의 전산 병리학 모델은 주로 H&E 이미지에서 질병 유무를 분류하는 단일 모달리티 방식에 치중했다. 하지만 실제 질병은 형태학적 변화와 분자적 변화가 복합적으로 일어나며, 이는 환자의 임상 정보와 밀접하게 연결된다. Haiku는 이 세 가지 서로 다른 데이터 타입을 하나의 Embedding 공간으로 투영하여 서로의 관계를 학습한다.

이 모델은 CLIP 아키텍처의 Contrastive Learning 원리를 확장하여 적용한다. H&E 패치, mIF 패치, 그리고 해당 위치의 임상 정보를 담은 Text가 서로 '쌍'을 이룰 때 임베딩 공간에서 가깝게 위치하도록 학습시킨다. 이를 통해 모델은 특정 암세포의 형태(H&E)가 어떤 단백질 발현(mIF)과 연결되는지, 그리고 그것이 임상적으로 어떤 단계(Text)를 의미하는지 통합적으로 이해하게 된다.

결과적으로 Haiku는 이미지 데이터만 보고도 보이지 않는 분자 정보를 유추하거나, 텍스트로 설명된 임상 상황에 부합하는 조직 이미지를 찾아낼 수 있다. 이는 단순한 분류를 넘어 데이터 간의 고차원적 상관관계를 파악함으로써 의료 데이터 분석의 새로운 지평을 연다.

Haiku는 세 가지 전용 Encoder를 사용하여 데이터를 처리한다. H&E 이미지는 MUSK Vision Transformer를, 임상 텍스트는 BiomedBERT를 사용하며, mIF 이미지는 VirTues 아키텍처 기반의 Encoder를 처음부터 학습시켜 사용한다. 각 Encoder의 출력은 512차원의 공유 Latent Space로 투영된다.

학습은 Tri-modal Contrastive Loss를 최소화하는 방향으로 진행된다. 배치 사이즈 B=128 내에서 매칭된 (H&E, mIF, Text) 쌍의 코사인 유사도를 계산한다. [입력값: 세 모달리티의 임베딩 벡터] → [연산: Pairwise CLIP-style Contrastive Loss 계산] → [출력 의미: 매칭된 데이터 간 유사도는 극대화하고 매칭되지 않은 데이터 간 유사도는 최소화하여 공유 공간에 정렬].

바이오마커 추론을 위해 Fusion Retrieval 기법을 사용한다. H&E 임베딩과 Text 임베딩을 가중치 α를 이용해 결합한다. [입력값: H&E 벡터와 메타데이터 텍스트 벡터] → [연산: α * H&E_vec + (1-α) * Text_vec] → [출력 의미: 두 정보가 통합된 쿼리 벡터를 생성하여 mIF 아틀라스에서 가장 유사한 패치를 검색]. 실험을 통해 최적의 가중치 α=0.8을 도출했다.

교차 모달 검색 성능에서 Haiku는 압도적인 결과를 보였다. mIF-to-H&E 검색에서 Recall@50 0.604, H&E-to-mIF에서 0.611을 기록한 반면, 기존 베이스라인은 거의 0에 가까운 성능을 보였다. 이는 Haiku가 서로 다른 모달리티 간의 의미적 연결을 성공적으로 학습했음을 증명한다.

임상 예측 작업에서도 우수성이 확인됐다. 대장암 생존 예측에서 C-index 0.737을 기록하여 기존 VirTues 모델(0.683) 대비 약 7.9%의 상대적 성능 향상을 달성했다. 흑색종 치료 반응 예측(AUPRC 0.660)과 대장암 치료 반응 예측(AUPRC 0.775)에서도 베이스라인을 상회했다.

Zero-shot 바이오마커 추론에서는 52개 바이오마커에 대해 평균 Pearson 상관계수 0.718을 달성했다. 특히 CD8, Granzyme B 등 면역 관련 마커에서 높은 정확도를 보였으며, 이는 텍스트 기반의 임상 정보가 이미지 데이터의 부족한 분자 정보를 효과적으로 보완하고 있음을 나타낸다.

Haiku의 핵심은 H&E, mIF, Text라는 이질적인 데이터의 공간적 대응 관계를 보존하며 정렬하는 것이다. mIF 데이터의 불규칙한 채널 문제를 해결하기 위해 ESM-3 단백질 임베딩을 사용하여 각 바이오마커의 정체성을 인코딩했다. 이는 모델이 학습 시 보지 못한 새로운 바이오마커에 대해서도 대응할 수 있는 유연성을 제공한다.

모델 학습은 2단계 학습률 스케줄을 적용하여 25에포크 동안 진행됐다. AdamW 옵티마이저를 사용했으며, H&E와 Text Encoder는 마지막 2개의 Transformer 블록만 미세 조정(Fine-tuning)하고 mIF Encoder는 고정(Frozen)하여 학습 안정성을 확보했다. 투영 헤드는 2계층 MLP 구조로 설계되어 비선형적인 특징 매핑을 수행한다.

Counterfactual 분석을 위해 도입된 'Perturb-and-Retrieve' 패러다임은 생성 모델의 고질적인 문제인 할루시네이션(Hallucination)을 방지한다. 새로운 이미지를 생성하는 대신, 수정된 텍스트 쿼리에 가장 부합하는 실제 mIF 패치를 아틀라스에서 검색해 보여줌으로써 항상 실제 측정된 데이터에 기반한 근거를 제시한다.

현재 모델은 쌍을 이룬(Paired) 데이터셋으로만 학습되어 데이터 확장성에 제한이 있다. 또한 텍스트 설명이 자유로운 서술형이 아닌 구조화된 메타데이터 템플릿에 의존하고 있어, 복잡한 임상 기록을 직접 처리하는 데는 한계가 있다. 분석 단위가 256x256 패치 수준에 머물러 있어 전체 슬라이드 수준의 아키텍처 통합이 향후 과제로 남아 있다.