ACE-LoRA: 의료 영상-언어 모델의 매개변수 효율적 적응을 위한 그래프 주의 기반 문맥 강화

기존 의료 AI 모델은 특정 질환에만 특화되어 범용성이 떨어지거나, 범용 모델은 미세한 진단 단서를 놓치는 한계가 있었다. ACE-LoRA는 아주 적은 비용으로 일반 모델을 특정 의료 분야에 최적화하면서도, 하이퍼그래프를 통해 미세한 병변 부위까지 정확히 포착할 수 있는 기술을 제시하여 실제 임상 활용성을 크게 높였다.

기존의 CLIP과 같은 모델은 이미지와 텍스트를 하나의 벡터(Embedding)로 압축하여 비교한다. 하지만 의료 영상에서는 아주 작은 음영 차이나 국소적인 패턴이 진단의 핵심인데, 전체를 요약하는 과정에서 이런 미세한 정보가 소실되는 문제가 발생한다. 특히 LoRA와 같은 효율적 학습 기법은 전역적인 특징은 잘 잡지만, 국소적인 진단 단서를 포착하는 데는 한계가 있었다.

ACE-LoRA는 이 문제를 해결하기 위해 '하이퍼그래프(Hypergraph)' 개념을 도입했다. 일반적인 그래프가 두 점 사이의 관계만 본다면, 하이퍼그래프는 여러 개의 이미지 조각(Patch)이나 단어들을 하나의 그룹(Hyperedge)으로 묶어 복잡한 상호작용을 계산한다. 이를 통해 모델은 특정 병변 부위와 관련된 여러 특징을 동시에 고려하며 더 깊은 문맥을 이해하게 된다.

결과적으로 모델은 거대한 파라미터를 전부 수정하지 않고도, 하이퍼그래프를 통해 보강된 정교한 시각 정보를 얻게 된다. 이는 마치 일반의에게 특정 질환의 핵심 징후를 찾는 '돋보기'와 '체크리스트'를 쥐여주는 것과 같아, 적은 학습량으로도 전문의 수준의 진단 능력을 확보할 수 있게 한다.

ACE-LoRA는 동결된 BiomedCLIP 백본에 LoRA 모듈을 삽입하고, 각 인코더 끝에 ACE-HGNN 모듈을 추가한 구조다. LoRA는 Self-Attention의 Query, Key, Value 투영 행렬에 저순위 행렬 A, B를 더해 가중치를 업데이트한다. [입력 벡터 x → 저순위 행렬 A 투영 → 행렬 B 확장 → 스케일링 후 원본 출력에 합산] 과정을 통해 파라미터 효율성을 확보한다.

ACE-HGNN은 트랜스포머의 Attention Map에서 하이퍼엣지를 생성한다. 각 노드(토큰) i에 대해 어텐션 값이 높은 상위 k개의 이웃을 선택하여 인시던스 행렬 H를 구성한다. [어텐션 맵 추출 → 상위 k개 필터링 → Softmax 정규화 → 하이퍼엣지 가중치 결정] 순으로 계산되어 토큰 간의 고차원적 위상 관계를 정의한다.

하이퍼그래프 메시지 패싱은 두 단계로 진행된다. 먼저 노드 특징 v를 하이퍼엣지로 모으는 Vertex-to-Hyperedge 단계를 거친 후, 다시 노드로 뿌려주는 Hyperedge-to-Vertex 단계를 수행한다. [노드 값 합산 → 비선형 변환 phi → 하이퍼엣지 특징 생성 → 전치 행렬 곱셈 → 업데이트된 노드 특징] 과정을 통해 국소적 문맥이 강화된 표현을 얻는다.

학습 시에는 Label-guided InfoNCE Loss를 사용한다. 동일한 질병 레이블을 가진 샘플 쌍은 분모의 부정 샘플 계산에서 제외하도록 지시 함수를 적용한다. [질병 레이블 비교 → 동일 레이블 시 0, 다를 시 1 반환 → 손실 함수 가중치 조절]을 통해 의료 데이터 특유의 가짜 부정(False Negative) 문제를 완화한다.

제로샷 이미지 분류 실험에서 CheXpert, RSNA, SIIM 데이터셋 모두 기존 SOTA 모델을 능가했다. 특히 CheXpert 5x200 벤치마크에서 ACC 49.80%, AUC 80.87%를 기록하며, 전체 파라미터를 미세 조정(Full FT)한 모델보다도 높은 성능을 보였다.

세그멘테이션(SIIM)과 객체 탐지(RSNA) 작업에서도 우수한 성과를 거두었다. SIIM 데이터셋의 기흉(Pneumothorax) 분할 작업에서 Dice Score 46.34%를 달성했으며, RSNA 폐렴 탐지 작업에서는 mAP 21.29%를 기록하여 GLoRIA, MGCA 등 기존 의료 특화 모델들을 앞섰다.

Ablation Study 결과, ACE-HGNN 모듈이 분류 정확도 향상에 핵심적인 역할을 했음이 증명되었다. LoRA만 사용했을 때보다 CheXpert 기준 약 4%p 이상의 성능 향상이 있었으며, 이미지와 텍스트 인코더 모두에 하이퍼그래프 모듈을 적용했을 때 가장 균형 잡힌 성능을 보였다.

ACE-LoRA 아키텍처는 BiomedCLIP(ViT-B/16 기반)을 백본으로 사용하며, 모든 레이어의 Self-Attention 블록에 rank=4인 LoRA 어댑터를 통합한다. 학습 가능한 파라미터는 약 0.95M개로, 전체 모델의 0.48% 수준이다.

ACE-HGNN의 핵심은 트랜스포머의 내재적 어텐션 맵을 하이퍼그래프의 위상 구조로 직접 전이시킨 점이다. 별도의 어텐션 계수를 학습하는 대신, 헤드별 어텐션을 평균 내어 하이퍼엣지 연결 강도로 활용함으로써 연산 효율성을 극대화했다.

하이퍼그래프 메시지 패싱 함수 phi는 병목(Bottleneck) 구조를 채택했다. d에서 d'로 줄였다가 다시 d 차원으로 복원하는 변환과 LeakyReLU 활성화 함수를 사용하여 노드 간의 비선형 상호작용을 모델링한다. 이는 단순한 Pairwise 관계를 넘어선 고차원적 특징 응집을 가능케 한다.

대조 학습의 고질적 문제인 False Negative를 해결하기 위해 CheXpert 레이블러를 사용하여 텍스트 리포트에서 질병 태그를 추출했다. 이를 기반으로 구성된 지시 함수는 배치 내에서 의미적으로 동일한 샘플들이 서로 밀려나지 않도록 규제하여 임베딩 공간의 정렬 품질을 높였다.

병리 조직 영상(Histopathology)의 경우 리포트의 복잡성이 높고 표준화된 레이블러가 부족하여, 자동 레이블 추출 기반의 적응 전략을 적용하는 데 한계가 있음을 명시했다.