MulTaBench: 텍스트/이미지 결합 표형 학습 벤치마크

TFM 기반의 표 데이터는 숫자/범주형에 텍스트나 이미지를 추가해도 임베딩이 일반 목적으로 고정되면 태스크 특정 신호를 잃기 쉽다. MulTaBench는 40개 데이터셋을 통해 Joint Signal과 Task-awareness를 동시에 평가하며 TAR의 효과가 데이터세트와 모델에 따라 다르게 나타난다는 점을 체계적으로 보여준다. 이를 통해 멀티모달 표 기반의 Foundation Model 개발 방향을 구체화한다.

단계1: 표형 데이터는 숫자/범주형 특징과 비정형 모달리티(text,image)를 포함하는 경우가 많다. 전통적 TFMs는 비정형 모달을 외부 임베딩에 의존해 처리하고, 이 임베딩은 태스크 특정 정보를 잃을 수 있다. 단계2: TAR은 텍스트/이미지 임베딩의 마지막 몇 계층을 타깃에 맞추어 조정하고, 필요시 다른 모달리티와의 상호작용을 촉진한다. 단계3: MulTaBench는 Joint Signal과 TAR의 효과를 다양한 템플릿(tabular learner)과 임베딩 차원에서 검증해 TAR의 일반화를 확인한다. 결과적으로 TAR은 임베딩의 표현 능력을 타깃에 맞춰 증폭시키고, 기존의 Frozen 임베딩으로는 포착하기 어려운 미세 신호를 회복한다.

입력은 구조화된 표(columns)와 비정형 모달(text 또는 image)으로 구성된다. 4가지 실험 조건으로 데이터셋을 평가한다: (1) Unimodal Structured, (2) Unimodal Unstructured, (3) Joint Frozen, (4) Joint TAR. 임베딩은 e5-v2-small(DINO-v3-small 이미지)로 추출하고 PCA로 30차원으로 축소한다. TAR은 encoder의 상위 3개 레이어를 LoRA로 미세조정하고, 공유된 선형 헤드를 통해 출력 차원을 예측 클래스로 매핑한다. 5개 탭룰러 학습기(LightGBM, CatBoost, TabM, TabPFNv2, TabPFN-2.5)로 각 후보 데이터셋을 5개의 랜덤 시드에서 평가하며, 성능 지표는 분류는 AUROC, 회귀는 R2이다. 합의 임계 δ=0.001, ρ=3/5를 적용해 각 데이터셋의 수용 여부를 판단한다. TAR의 효과는 Joint TAR 대비 Joint Frozen의 성능 향상과 TAR 대비 Joint Frozen의 향상으로 측정한다.

MulTaBench는 이미지-탭ular과 텍스트-탭ular 두 하위집합으로 구성되며, 40개 데이터셋 중 23개가 Joint Signal을 충족하고, 남은 41%에서 Task-awareness를 만족한다. MUL-TaBench의 텍스트-탭ular 벤치마크에서 TAR는 Frozen 대비 모든 학습자에서 우수한 성능 향상을 보이며, 이미지-탭ular에서도 TAR이 일관되게 이득을 준다. 예를 들어 Mango Mass( AUROC 증가 +0.120 ), Jigsaw Toxicity( AUROC 증가 +0.119 ) 등 데이터셋별로 TAR의 이득이 관찰되었다. 임베딩 규모 확장(DINO-large/e5-large)에서도 TAR의 이득은 유지되며, PCA 차원 증가에 따른 변화에도 TAR이 견고함을 보였다. 또한 TAR은 4~5개의 다양한 학습자에서 일관되게 이득을 주며, End-to-End 모델들보다 TAR의 효과가 넓게 일반화된다.

아키텍처: 이미지/text 인코더(DINO/e5) + 탭룰러 백본(LightGBM/CatBoost/TabM/TabPFNv2/TabPFN-2.5) 조합. TAR은 마지막 3개 레이어를 LoRA로 미세조정. 임베딩은 384차원을 대상으로 PCA 30차원으로 차원 축소. 5개 학습기와 5개 시드, 10k 샘플 한도로 실험. 평가 지표는 AUROC/R2.

논문은 curation 파이프라인이 알고리즘적 해결책과 계산 문제를 얽어 놓아, 새로운 데이터셋이 조건을 만족하는지 사전 예측하기 어렵고, 선별에 사용된 모델들에 편향이 존재할 수 있음을 명시한다.