Beyond IID: 탭형 데이터용 파운데이션 모델의 일반성 평가

실무 환경에서 탭형 데이터는 IID 가정이 깨지는 경우가 많아 연구용 평가와 실제 배포 성능 간 괴리가 존재한다. 본 연구는 다양한 샘플 규모, 차원수, 텍스트 및 고유값 많은 범주형 등 현실적 조건을 포함한 142개 데이터셋으로 TFMs와 전통적 모델을 통합 비교해 이러한 격차를 계량적으로 드러냈다. 그 결과 TFMs는 작은 IID 데이터에서 강세이나, 비IID·대규모·고차원·고카디널리티 환경에서는 GBDT나 튜닝된 신경망이 우세한 것으로 나타났다.

탭형 데이터에 대한 파운데이션 모델(TFMs)은 대규모의 다양한 표 데이터를 사전학습해 새로운 데이터셋에 파라미터 업데이트 없이 인컨텍스트 학습(ICL)으로 빠르게 적응할 수 있게 설계되었다. 그러나 실제 응용에서는 데이터가 시간적·그룹 구조를 가지거나 샘플 수가 매우 많고 특징 차원이 높은 경우 IID 가정이 깨지며, 이러한 분포 변화는 모델의 일반화 성능에 큰 영향을 준다. 따라서 TFMs가 IID 소규모 데이터에서 강력한 성능을 보이는 반면, 분포구조와 규모·차원이 다른 현실적 시나리오에서는 전통적 GBDT나 튜닝된 신경망이 우위를 차지하는 이유는 학습·추론 방식과 전처리의 민감성 차이에서 기인한다.

데이터 큐레이션은 1128개 후보에서 중복·비예측·few-shot·비현실적 데이터 등을 제거해 142개를 최종 선별했다. 각 데이터에 대해 적절한 외부 분할을 수작업으로 정의했고 IID는 무작위, temporal은 시간 미리보기 차단, grouped는 그룹별 분리가 보장되도록 처리했다. 모델 평가는 동일한 AutoGluon 기반 파이프라인에서 수행했고, 비TFM 모델에는 25개의 랜덤 HPO 시도와 후처리 앙상블을 적용했으며 TFMs(TabPFN-2.6, TabDPT, TabICLv2)는 인컨텍스트 모드(무튜닝)로 평가했다. 텍스트 특징은 Qwen3-Embedding-8B를 사용해 4096차원 임베딩을 계산한 뒤 Matryoshka 슬라이스로 32차원으로 압축했고, 그룹별(label-per-group) 예측에서는 50차원 그룹인코딩을 도입했다.

종합 리더보드(Elo 기준)에서 TFMs는 Tiny·Small·IID 하위집합에서 최고 성능을 보였으나 All·Temporal·Grouped·Large·High-Dim·High-Card 하위집합에서는 RealMLP 및 튜닝된 GBDT가 상위권을 차지했다. 통계 검정(프리드먼·윌콕슨·크루스칼-왈리스 등)은 전반적 순위 차이가 유의함을 확인했고, 데이터 규모별 분석에서는 약 100k 행을 경계로 TFMs 성능이 하락하는 패턴이 관찰되었다. 또한 하이퍼파라미터 튜닝과 앙상블은 비TFM 모델에 대해 평균적으로 유의미한 성능 향상을 가져왔다.

아키텍처 수준에서는 검증 대상 TFMs(TabPFN-2.6, TabDPT, TabICLv2)는 대규모 사전학습과 특정한 표 데이터 인코더를 탑재해 ICL로 작동하는 점이 공통된다. 각 TFM은 별도 사전학습 제한과 검색·검색기반(예: TabDPT의 retrieval) 연산 비용을 가졌고, 그 결과 대규모 교차검증에서 추론·학습 비용이 크게 증가했다. 실험 인프라는 AutoGluon 기반으로 통일해 모델 실행과 하이퍼파라미터 탐색을 표준화했고, 시간제한(기본 4시간, TFMs 일부는 12시간 확장)을 두어 대규모 데이터셋에서의 비용을 관리했다.

저자들이 명시한 한계는 세 가지다. 첫째, 하이퍼파라미터 탐색은 랜덤 25개 시도로 제한되어 있어 완전한 최적화가 아님이 있다. 둘째, TFMs는 본 연구에서 인컨텍스트 모드만 평가했고 파인튜닝 효과는 검증하지 않았다. 셋째, 평가에 포함된 TFMs는 TabArena 기준 상위 모델 위주로 제한되어 다른 공개·비공개 모델의 성능은 본 연구에 포함되지 않았다.