표 형 데이터용 Self-Supervised Learning을 위한 Adaptive Binning

의료 표 데이터의 구조화된 특성은 일반적으로 라벨링 비용이 큰 문제를 낳는다. Self-supervised learning은 라벨 없이도 표현 학습을 가능하게 하지만, 기존의 discretization은 전역적으로 고정된 bin 수를 사용하고 특성 간 차이를 고려하지 못한다. Adaptive Binning은 각 특성마다 학습에 맞춰 discretization을 점진적으로 세밀하게 조정하고, 값 공간의 분포와 표현 공간의 일관성을 함께 개선한다. 이를 통해 linear probing과 fine-tuning에서 일관된 성능 향상을 달성하고, 의료 표 데이터에 특화된 벤치마크를 제시한다.

• 시작점과 한계: 표 형 데이터는 카테고리형과 수치형이 혼합되며, 비선형 상호작용이 많고 구조적 공간이 제한적이다. 기존의 binning은 전역 고정치(bin 수)로 인해 특성별 차이를 활용하지 못하고, 수치 타깃의 재구성은 동일한 공간에서 수행된다. 이로 인해 표현 학습의 효율이 저하되고 모듈 간 일반화가 제한된다.
• 해결 원리: Adaptive Binning은 per-feature discretizer B^(n)와 숫자형 타깃의 분포를 함께 다루는 HORD를 도입한다. FPT가 각 특징의 plateau를 독립적으로 탐지하고, DIGS가 분할 위치를 값 공간의 분산 감소와 표현 공간의 일관성 증가를 동시에 고려해 선택한다. 이로써 discretization 타깃은 학습 과정에 맞춰 점진적으로 조정된다.
• 달라지는 점: 학습 도중 분할 수(T_n)를 feature별로 조정하고, 수학적 손실은 범주형에 cross-entropy, 수치형에 SORD(soft ordinal targets)와 mean-variance 정규화를 결합한다. 전체 손실은 각 타입의 손실을 특징 수로 정규화해 평균화한다. 이 접근은 데이터의 이질성(heterogeneity)을 고려한 ordinal-수치 혼합 손실로 표 데이터의 표현력과 재구성 품질을 향상한다.

• 전체 프레임워크: masking 기반의 autoencoding tabular SSL. x = [x_cat, x_num]이고, numerical feature n의 baseline은 y^(n) = B^(n)(x_num^(n))로 quantile index를 얻고, BinRecon으로 재구성 손실을 최소화한다. [어떤 값을 입력으로, 어떤 연산을 수행해, 어떤 결과를 얻고, 그 값의 의미] → 입력 x를 받으면, 각 수치형 특성에 대해 B^(n)으로 bin index를 산출하고, 이를 바탕으로 손실을 계산한다.
• FWA: 각 특성 n에 대해 T_n을 초기값(T_init)에서 시작해 T_max까지 증가시키며, plateau 조건 충족 시 분할을 수행한다. 입력으로 x_num을 받아 y^(n) = B^(n)(x_num^(n)); 이때 T_n은 n별 schedule에 따라 증가한다. [입력값] x_num^(n) → [계산] B^(n) 선택/업데이트 → [결과] y^(n) ∈ {0,...,T_n-1} -> [의미] 이 분할은 학습이 진행될수록 해상도를 올려 더 세밀한 레벨의 타깃을 제공한다.
• DIGS: 개선된 경계 선택을 위해 각 bin B_t^(n)에서 후보 경계(중간값)를 계산하고, S_L, S_R로 샘플을 양분한다. 값 공간의 분산 감소 Gain_var와 표현 공간의 일관성 감소 Gain_disp를 계산한 뒤 Score_DIGS = Gain_var × Gain_disp로 평가한다. Score_DIGS > τ이고 Gain_var>0 및 Gain_disp>0일 때만 분할을 적용한다. 이로써 인코더 표현 공간의 품질을 보존하며 값 공간의 분해를 촉진한다.
• HORD: 수치형은 y^(n)으로의 확률 벡터 p^(n)에 대해 soft-ordinal targets q_t를 사용한 cross-entropy(SORD) 손실을 적용한다. μ^(n)과 σ^2(n)을 계산해 mean-variance regularization을 추가한다. 전체 손실은 L_HORD = (C/(C+N))×(cat 손실의 평균) + (N/(C+N))×(num 손실의 평균)로 구성한다.
• 학습·구현 세부: pretraining은 1000 에포크를 표준화된 프로토콜로 수행하며, 인코더-디코더 구조를 사용한다. 선형 프로빙과 파인 튜닝에서의 성능을 평가하고, 기본 구성을 통해 데이터셋별 튜닝 의존도를 낮춘다.

• 메인 벤치마크: 의료 tabular 데이터셋에서 binary, nominal, ordinal, 회귀 태스크에 대해 선형 프로빙과 파인 튜닝으로 평가한다. Adaptive Binning은 대조군 대비 일관된 성능 향상을 보였으며, linear probing에서 강건한 표현 학습을 제공한다.
• Ablation 연구: 구성 요소 하나를 제거하면 선형 프로빙 성능이 하락하며, FPT를 제거해도 HORD의 효용은 여전히 확인된다. 이로써 FWA, DIGS, HORD, FPT의 통합이 성능 향상에 기여함이 확인된다.
• 하이퍼파라미터 로버스트성: Figure 2의 음영 구간에서 default 구성은 다양한 태스크와 데이터셋에서 안정적으로 작동하며, 하이퍼파라미터 변화 시 성능 저하가 나타난다. 단일 기본 구성이 다양한 encoder/태스크에 대하여 강건한 출발점을 제공한다.
• 파인 튜닝 하에서의 전이성: Table 4의 파인 튜닝 실험에서, SSL 프리트레이닝을 거친 초기화가 MR/BR보다 더 견고한 초기화를 제공하고, downstream 모델 선택에 따른 민감도 감소를 보인다. 이는 학습-주도적 discretization이 전이 가능한 inductive bias로 작용한다는 것을 시사한다.

• 전체 아키텍처: autoencoding 기반의 tabular SSL, 인코더 f_θ와 디코더 f_d를 사용한다. 숫자형 특성 x_num에 대한 BinRecon은 고정된 T 대신 per-feature T_n을 사용한다.
• Prior work 대비 차별점: 고정된 전역 bin 수가 아니라 feature-wise adaptive discretization을 도입했고, FPT-DIGS-HORD의 결합으로 type-aware ordinal 손실과 값 공간의 분산 감소를 함께 달성한다.
• 수학적 기반: L_HORD = (C/(C+N))×(L_cat 평균) + (N/(C+N))×(L_num 평균)으로 구성되며, L_num은 SORD + μ 및 σ^2 정규화의 가중합으로 구성되며, q_t는 y^(n) 값에 따른 soft-ordinal 타깃이다.
• 구현/학습 세부: 각 특성의 분할은 patience 조건과 T_n < T_max 조건 아래 DIGS 점수 Score_DIGS > τ를 만족할 때 반영된다. 분할 시 각 bin의 내부 후보를 median으로 선택하고, within-bin median split으로 S_L, S_R를 구성한다.
• 정규화 및 중립화: mean-variance 정규화와 soft-target cross entropy를 사용하여 수치형 타깃의 불확실성을 관리한다.
• 평가 프로토콜: 선형 프로빙과 파인 튜닝의 이중 평가를 사용하고, 1000 에포크의 프리트레이닝 후 downstream 인코더에서의 성능 변화를 확인한다.

본 연구는 in-dataset transfer 및 의료 표 데이터 중심의 평가에 한정되며, cross-dataset pretraining 및 비의료 도메인 일반화에 대한 확장성은 추가 검증이 필요하다.