TabEmbed: 표 형식 데이터 이해를 위한 범용 임베딩 벤치마킹 및 학습

기존의 표 형식 데이터 처리는 분류와 검색을 위해 각각 별도의 모델이 필요했으나, TabEmbed는 이를 하나의 공통 임베딩 공간으로 통합했다. 이는 RAG 시스템이나 대규모 데이터베이스에서 표 데이터를 텍스트처럼 자유롭고 정확하게 검색하고 분석할 수 있게 해준다.

기존의 표 형식 데이터 학습은 주로 행과 행을 비교하는 방식(Row-to-Row)에 의존했다. 하지만 이 방식은 단순히 같은 클래스에 속한다는 이유만으로 서로 다른 수치나 특징을 가진 행들을 임베딩 공간에서 가깝게 뭉치게 만들어, 미세한 수치적 차이나 논리적 구조를 파악하는 데 한계가 있었다.

TabEmbed는 이를 해결하기 위해 표 데이터를 자연어 쿼리와 매칭하는 방식(Language-to-Row)으로 전환했다. 예를 들어 '가격이 50달러 미만인 레코드 찾기'와 같은 자연어 질문을 앵커(Anchor)로 삼고, 이에 부합하는 행 데이터(Positive)와 부합하지 않는 행 데이터(Negative)를 대조하며 학습한다.

이 과정에서 모델은 단순한 텍스트 패턴 매칭을 넘어 수치의 크기 비교나 열(Column)의 의미론적 관계를 임베딩 공간에 투영하게 된다. 결과적으로 모델은 표의 구조를 깊이 있게 이해하게 되며, 별도의 튜닝 없이도 새로운 표 데이터에 대해 높은 검색 및 분류 성능을 보여준다.

전체 접근 방식은 표 데이터를 자연어 시퀀스로 직렬화(Serialization)한 뒤, 이를 대조 학습(Contrastive Learning) 프레임워크에 적용하는 구조이다. 'The [Column Name] is [Value]' 형태의 템플릿을 사용하여 구조화된 데이터를 텍스트로 변환하고, 이를 통해 LLM 기반의 임베딩 모델이 표의 의미를 해석할 수 있도록 유도한다.

핵심 메커니즘인 Contrastive Triplet Formulation은 쿼리(q), 긍정 샘플(d+), 부정 샘플(d-)의 삼중항을 입력으로 받는다. 코사인 유사도 s(q, d) = fθ(q) · fθ(d) / (||fθ(q)|| ||fθ(d)||)를 계산하는데, 이는 두 벡터 사이의 각도를 측정하여 1에 가까울수록 의미가 유사함을 나타낸다. 모델은 q와 d+ 사이의 유사도는 높이고, q와 d- 사이의 유사도는 낮추는 방향으로 학습된다.

학습 전략으로는 Positive-Aware Hard Negative Mining을 사용한다. 이는 쿼리와 의미적으로는 매우 유사하지만(예: 수치 차이가 근소함) 실제 논리적 조건은 만족하지 않는 샘플을 선별하여 학습에 포함시킨다. 이를 통해 모델이 수치적 경계선을 더 날카롭게 학습하도록 강제하며, 최종적으로 InfoNCE Loss를 통해 배치 내의 다른 샘플들과 구분하는 능력을 극대화한다.

TabBench 리더보드 결과, TabEmbed-0.6B 모델은 동일한 파라미터 규모의 기존 SOTA 모델인 Qwen3-Embedding-0.6B 대비 Overall 점수에서 약 20포인트 이상(44.92 → 65.27) 앞서는 압도적인 성능을 기록했다. 특히 검색 성능(nDCG@10)에서 기존 모델들이 30점대에 머물 때 65.64점을 기록하며 표 데이터에 대한 강력한 이해도를 증명했다.

Ablation Study와 시각화 분석을 통해 TabEmbed가 수치적 민감도(Numerical Sensitivity)를 확보했음을 확인했다. Figure 7의 t-SNE 시각화 결과, 기존 모델은 클래스들이 엉켜 있는 반면 TabEmbed는 명확한 클러스터를 형성하며 선형 분리 가능성이 크게 향상된 것으로 나타났다. 또한 노이즈 열(Irrelevant Columns)이 추가되는 상황에서도 성능 저하가 훨씬 적어 실무적인 견고함을 입증했다.

TabEmbed는 Qwen3-Embedding 아키텍처를 기반으로 하며, 0.6B, 4B, 8B 세 가지 규모로 제공된다. 모든 모델은 최대 32K 토큰의 컨텍스트 길이를 지원하며, 표 데이터의 긴 종속성을 캡처하기 위해 학습 시 1024 토큰 설정을 사용했다.

학습 과정에서 Multiple Negatives Ranking Loss(MNRL)를 사용했으며, 온도 파라미터(Temperature) τ를 0.05로 설정하여 유사도 분포를 날카롭게 조정했다. 이는 e^(s/τ) 연산을 통해 유사도가 조금만 차이 나도 확률값의 격차를 크게 벌려 모델이 미세한 차이에 집중하게 만드는 효과를 준다.

데이터 직렬화 시에는 수치 데이터의 정밀도를 유지하기 위해 소수점 둘레 반올림 규칙을 적용하고, 날짜 및 시간 데이터는 ISO 8601 표준 포맷으로 통일하여 모델이 시간적 선후 관계를 파악하기 용이하도록 설계했다. 이러한 전처리 과정은 모델이 이종(Heterogeneous) 데이터를 하나의 통일된 언어 맥락에서 이해할 수 있게 돕는다.

TabBench가 300개 이상의 데이터셋을 포함하지만 상용 폐쇄형 임베딩 API(예: Google Gemini Embedding)와의 비교는 예산 제약으로 포함되지 않았다. 또한 수백 개의 열을 가진 초거대 표의 경우 모델의 컨텍스트 윈도우를 초과하여 정보 손실이 발생할 수 있는 한계가 존재한다.