TFM 기반의 표 데이터는 숫자/범주형에 텍스트나 이미지를 추가해도 임베딩이 일반 목적으로 고정되면 태스크 특정 신호를 잃기 쉽다. MulTaBench는 40개 데이터셋을 통해 Joint Signal과 Task-awareness를 동시에 평가하며 TAR의 효과가 데이터세트와 모델에 따라 다르게 나타난다는 점을 체계적으로 보여준다. 이를 통해 멀티모달 표 기반의 Foundation Model 개발 방향을 구체화한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
TFM 기반의 표 데이터는 숫자/범주형에 텍스트나 이미지를 추가해도 임베딩이 일반 목적으로 고정되면 태스크 특정 신호를 잃기 쉽다. MulTaBench는 40개 데이터셋을 통해 Joint Signal과 Task-awareness를 동시에 평가하며 TAR의 효과가 데이터세트와 모델에 따라 다르게 나타난다는 점을 체계적으로 보여준다. 이를 통해 멀티모달 표 기반의 Foundation Model 개발 방향을 구체화한다.
MulTaBench: a 40-dataset multimodal tabular benchmark
image-tabular와 text-tabular 문제를 모두 아우르는 40개 데이터셋으로 Joint Signal과 TAR를 평가할 수 있는 벤치마크를 제시한다.
Target-Aware Representations (TAR) for MMTL
사전학습 임베딩을 타깃에 맞춰 미세조정하는 TAR 접근으로 이미지/텍스트 임베딩의 태스크 의존 신호를 보존하고 예측 성능을 향상시킨다.
Curation Pipeline for MMTL datasets
Joint Signal과 Task-awareness를 만족하는 데이터셋을 선별하는 자동화된 curation 파이프라인을 제시한다.
Robustness and generalization analyses
임베딩 스케일, 차원 수, 신규 탭룰러 학습자에 대한 TAR의 일반화 가능성과 안정성을 분석한다.
Guidelines toward Multimodal Tabular Foundation Models
MulTaBench를 통해 TAR를 갖춘 새로운 멀티모달 표 기반 Foundation Model 개발 방향을 제시한다.
단계1: 표형 데이터는 숫자/범주형 특징과 비정형 모달리티(text,image)를 포함하는 경우가 많다. 전통적 TFMs는 비정형 모달을 외부 임베딩에 의존해 처리하고, 이 임베딩은 태스크 특정 정보를 잃을 수 있다. 단계2: TAR은 텍스트/이미지 임베딩의 마지막 몇 계층을 타깃에 맞추어 조정하고, 필요시 다른 모달리티와의 상호작용을 촉진한다. 단계3: MulTaBench는 Joint Signal과 TAR의 효과를 다양한 템플릿(tabular learner)과 임베딩 차원에서 검증해 TAR의 일반화를 확인한다. 결과적으로 TAR은 임베딩의 표현 능력을 타깃에 맞춰 증폭시키고, 기존의 Frozen 임베딩으로는 포착하기 어려운 미세 신호를 회복한다.
입력은 구조화된 표(columns)와 비정형 모달(text 또는 image)으로 구성된다. 4가지 실험 조건으로 데이터셋을 평가한다: (1) Unimodal Structured, (2) Unimodal Unstructured, (3) Joint Frozen, (4) Joint TAR. 임베딩은 e5-v2-small(DINO-v3-small 이미지)로 추출하고 PCA로 30차원으로 축소한다. TAR은 encoder의 상위 3개 레이어를 LoRA로 미세조정하고, 공유된 선형 헤드를 통해 출력 차원을 예측 클래스로 매핑한다. 5개 탭룰러 학습기(LightGBM, CatBoost, TabM, TabPFNv2, TabPFN-2.5)로 각 후보 데이터셋을 5개의 랜덤 시드에서 평가하며, 성능 지표는 분류는 AUROC, 회귀는 R2이다. 합의 임계 δ=0.001, ρ=3/5를 적용해 각 데이터셋의 수용 여부를 판단한다. TAR의 효과는 Joint TAR 대비 Joint Frozen의 성능 향상과 TAR 대비 Joint Frozen의 향상으로 측정한다.
관련 Figure
해당 도식은 TAR의 적용 전후를 포함한 파이프라인의 구성과 평가 기준을 시각적으로 제시해 논문의 방법론을 보강한다.
MulTaBench의 Curation Pipeline 다이어그램으로 후보 데이터셋을 Joint Frozen, Joint TAR 등 4가지 조건으로 평가하는 흐름을 나타냄.
MulTaBench는 이미지-탭ular과 텍스트-탭ular 두 하위집합으로 구성되며, 40개 데이터셋 중 23개가 Joint Signal을 충족하고, 남은 41%에서 Task-awareness를 만족한다. MUL-TaBench의 텍스트-탭ular 벤치마크에서 TAR는 Frozen 대비 모든 학습자에서 우수한 성능 향상을 보이며, 이미지-탭ular에서도 TAR이 일관되게 이득을 준다. 예를 들어 Mango Mass( AUROC 증가 +0.120 ), Jigsaw Toxicity( AUROC 증가 +0.119 ) 등 데이터셋별로 TAR의 이득이 관찰되었다. 임베딩 규모 확장(DINO-large/e5-large)에서도 TAR의 이득은 유지되며, PCA 차원 증가에 따른 변화에도 TAR이 견고함을 보였다. 또한 TAR은 4~5개의 다양한 학습자에서 일관되게 이득을 주며, End-to-End 모델들보다 TAR의 효과가 넓게 일반화된다.
아키텍처: 이미지/text 인코더(DINO/e5) + 탭룰러 백본(LightGBM/CatBoost/TabM/TabPFNv2/TabPFN-2.5) 조합. TAR은 마지막 3개 레이어를 LoRA로 미세조정. 임베딩은 384차원을 대상으로 PCA 30차원으로 차원 축소. 5개 학습기와 5개 시드, 10k 샘플 한도로 실험. 평가 지표는 AUROC/R2.
논문은 curation 파이프라인이 알고리즘적 해결책과 계산 문제를 얽어 놓아, 새로운 데이터셋이 조건을 만족하는지 사전 예측하기 어렵고, 선별에 사용된 모델들에 편향이 존재할 수 있음을 명시한다.
텍스트+이미지 임베딩의 태스크 의존적 미세조정이 멀티모달 표 데이터에서 실제 성능 향상을 가져와야 한다는 점을 입증하는 벤치마크를 제공한다.
코드 공개 여부: 공개
코드 저장소 보기아직 관련 토론이 없습니다.
댓글을 작성하려면 로그인이 필요합니다.
