SciLT: 과학 이미지 도메인을 위한 롱테일 분류 프레임워크

의료나 생물학 같은 과학 분야 데이터는 희귀 질병처럼 샘플이 적은 '꼬리(tail)' 클래스가 많아 AI 학습이 어렵다. 기존의 거대 모델 파인튜닝 방식이 자연 이미지와 다른 특성을 가진 과학 데이터에서 성능이 제한적임을 밝히고, 이를 해결할 새로운 다층 특징 융합 기법을 제시한다.

딥러닝 모델은 학습 데이터가 많은 '머리(head)' 클래스에는 강하지만 데이터가 적은 '꼬리(tail)' 클래스에는 취약한 롱테일 문제를 겪는다. 특히 자연 이미지로 학습된 모델을 엑스레이나 세포 사진 같은 과학 이미지에 적용하면, 모델의 마지막 층이 자연 이미지의 고수준 의미에만 최적화되어 과학 데이터의 미세한 특징을 놓치게 된다.

이 논문은 모델의 마지막 층보다 바로 전 단계인 'Penultimate Layer'가 과학 데이터의 희귀 클래스를 구분하는 데 더 유용한 정보를 보존하고 있다는 점에 주목한다. 마지막 층은 분류를 위해 정보를 압축하는 과정에서 세부적인 차이를 소실할 수 있지만, 그 직전 층은 더 풍부한 표현력을 유지하기 때문이다.

SciLT는 이 두 층의 정보를 적응적으로 결합하여, 흔한 데이터는 마지막 층의 안정적인 분류 능력을 활용하고 희귀한 데이터는 직전 층의 상세한 특징을 활용하도록 유도한다. 이를 통해 도메인이 크게 다른 과학 이미지에서도 소수 클래스를 정확히 식별할 수 있는 균형 잡힌 성능을 달성한다.

SciLT는 ViT(Vision Transformer) 백본에 AdaptFormer를 적용하여 파라미터 효율적인 파인튜닝(PEFT)을 수행한다. 핵심은 마지막 층(z_N)과 직전 층(z_{N-1})의 특징을 결합하는 적응형 게이팅 메커니즘이다.

[z_{N-1}과 z_N 입력] → [각각 Sigmoid 활성화를 거친 가중치 α 계산] → [α_{N-1}·z_{N-1} + α_N·z_N 연산] → [융합된 특징 z_tilde 생성]. 이 과정에서 모델은 데이터의 특성에 따라 어떤 층의 정보를 더 많이 반영할지 스스로 결정한다.

학습 시에는 이중 감독(Dual-supervision) 전략을 사용한다. 융합된 특징(z_tilde)은 Logit Adjustment(LA) 손실 함수를 통해 클래스 불균형을 직접 해결하도록 학습시키고, 마지막 층 특징(z_N)은 표준 Cross-Entropy(CE) 손실 함수를 통해 전체적인 인식 능력을 유지하도록 한다.

[예측값 s1, s2와 정답 y 입력] → [L_LA(s1, y) + L_CE(s2, y) 합산] → [최종 손실 L_total 산출]. 추론 시에는 두 분류기의 결과(Logit)를 평균 내어 최종 클래스를 결정함으로써 앙상블 효과를 얻는다.

ISIC(피부 병변) 데이터셋에서 SciLT는 74.5의 BScore를 기록하며 기존 LA(71.7) 및 CE(69.9) 방식보다 우수한 성능을 보였다. 특히 흑색종(MEL) 클래스에서 LA 대비 +9.4%p, 광선 각화증(AK)에서 CE 대비 +21.9%p의 정확도 향상을 달성했다.

NIH-Chest(흉부 엑스레이) 실험에서는 데이터가 매우 적은 'Few' 그룹의 정확도를 CE(0.00%) 대비 6.07%로 끌어올렸으며, 전체적인 균형 지표인 BScore에서 38.9를 기록해 기존 방식(17.3~20.2)을 크게 앞질렀다.

Ablation Study 결과, 특징 융합 모듈을 제거했을 때보다 적용했을 때 NIH-Chest의 Macro Accuracy가 15.1%에서 18.8%로 향상되어 다층 특징 활용의 유효성을 증명했다. 연산량 측면에서도 추가되는 MACs는 0.0638M 수준으로 백본 모델 대비 무시할 수 있는 정도의 가벼운 구조임을 확인했다.

SciLT는 사전 학습된 ViT 백본을 고정(frozen)하고 AdaptFormer 모듈만 학습시키는 PEFT 방식을 채택하여 연산 효율성을 확보했다. 이론적으로는 Rademacher Complexity 기반의 일반화 오차 분석을 통해, 다층 특징을 결합하는 것이 단일 층을 사용하는 것보다 더 타이트한 오차 상한(Error Bound)을 가질 수 있음을 증명했다.

두 층 사이의 정보 차이를 정량화하기 위해 Wasserstein Distance를 측정하였으며, 실험 결과 두 층이 서로 보완적인 정보를 담고 있음을 확인했다. 특히 마지막 층에서 소실될 수 있는 세부적인 시각적 특징이 직전 층에 남아있어 롱테일 문제 해결에 기여한다.

손실 함수 설계에서 Logit Adjustment와 Cross-Entropy를 분리하여 서로 다른 헤드에 적용함으로써, 클래스 균형 학습과 일반적 특징 보존이라는 두 마리 토끼를 잡는 디커플링(Decoupling) 전략을 사용했다.

현재 구조는 마지막 두 개 층의 상호작용만 활용하고 있어, 더 많은 층 사이의 복잡한 상호작용을 탐색할 여지가 남아있다. 또한 평가된 벤치마크 이외의 더 다양한 과학 도메인으로의 확장 가능성에 대한 추가 연구가 필요하다.