나무에서 흐름으로, 그리고 다시 나무로: 의사결정 나무와 확산 모델의 통합

이질적인 영역으로 여겨졌던 이산적 의사결정 나무와 연속적 확산 모델 사이의 수학적 연결 고리를 증명했다. 이를 통해 표 형식 데이터(Tabular Data)에서 기존 확산 모델보다 2배 빠른 생성 속도와 높은 정확도를 동시에 달성하는 새로운 알고리즘의 토대를 마련했다.

의사결정 나무는 데이터를 이산적인 영역으로 쪼개어 내려가는 계층적 구조를 가지며, 확산 모델은 데이터에 노이즈를 섞어 정보를 파괴하는 과정을 역으로 학습한다. 이 논문은 나무의 각 층에서 일어나는 정보의 손실(조대화)을 아주 미세한 단계로 나누면, 결국 확산 모델이 노이즈를 더해가는 연속적인 흐름과 동일해진다는 점에 착안했다.

구체적으로, 의사결정 나무의 깊이가 깊어질수록 데이터의 세부 특징이 사라지고 평균적인 값만 남게 되는 과정을 마르코프 과정(Markov Process)으로 모델링했다. 이 과정의 극한을 취하면 데이터 분포의 모드(Mode)들이 시간에 따라 합쳐지는 연속적인 궤적이 형성되며, 이는 확산 모델의 확률 흐름 방정식(PF-ODE)과 수학적으로 일치하게 된다.

결과적으로 그라디언트 부스팅은 이 거대한 흐름의 궤적을 단계별로 최적화하는 이산적 해결사로 볼 수 있다. 이러한 직관은 표 데이터에 강한 나무 모델의 구조적 이점과 이미지 생성에 강한 확산 모델의 유연성을 결합할 수 있는 이론적 근거가 된다.

의사결정 나무를 이산 시간 마르코프 체인으로 정의하고, Dyadic Refinement 기법을 도입하여 연속 시간 한계에서의 거동을 분석했다. 이 과정에서 Kramers-Moyal 전개를 사용하여 밀도 p(x, t)의 시간 진화를 유도했으며, 고차 모멘트가 사라짐을 증명하여 최종적으로 1차 리우빌 방정식(Liouville Equation) 형태의 PF-ODE를 도출했다.

통합 목적 함수인 GTSM은 이상적인 SDE의 스코어 s*(x)와 모델 sθ(x, t) 사이의 Fisher Divergence를 시간 전체 구간에 대해 적분한다. [가중치 w(t)와 상태 x에서의 스코어 차이 제곱을 입력으로] → [시간 0부터 T까지 적분 연산을 수행해] → [하나의 손실 함숫값을 얻고] → [이 값이 0이 되면 모델이 데이터의 전체 생성 경로를 완벽히 복제했음을 의미한다].

TREEFLOW는 학습 단계에서 의사결정 나무를 먼저 훈련시킨 뒤, 각 데이터가 루트에서 리프까지 도달하는 경로를 벡터로 인코딩(Path Encoding)한다. [데이터 x와 경로 인코딩 p를 입력으로] → [신경망 vθ가 속도장(Velocity Field)을 예측하게 하여] → [MSE 손실을 최소화하고] → [나무의 구조적 편향이 반영된 생성 모델을 구축한다].

TREEFLOW는 5개의 표 데이터 벤치마크 중 3개에서 가장 높은 TSTR(Train on Synthetic, Test on Real) 정확도를 기록했으며, 특히 Wine 데이터셋에서 98.1%, Cancer 데이터셋에서 93.9%를 달성했다. 또한 4개 데이터셋에서 가장 낮은 Wasserstein 거리를 보여 데이터 생성의 충실도를 입증했으며, 기존 TabDDPM 대비 생성 속도가 2배 빨라졌다.

DSM-TREE 증류 실험에서는 5개 데이터셋 중 4개에서 교사 모델인 의사결정 나무의 성능과 유사하거나 이를 능가하는 결과를 보였다. 특히 Heart Disease 데이터셋에서는 교사 모델보다 3.7% 높은 정확도를 기록하며, 단순한 결과값 복제를 넘어 나무의 계층적 판단 로직 자체가 신경망으로 성공적으로 전이되었음을 확인했다.

논문은 의사결정 나무의 계층적 분할이 유도하는 여과(Filtration) 구조와 확산 과정의 시간적 흐름 사이의 동형성(Isomorphism)을 증명한다. 특히 Pawula 정리를 활용하여 나무의 조대화 과정이 연속 한계에서 확산 항(Diffusion term)이 0인 결정론적 PF-ODE로 수렴함을 보인 것이 핵심이다.

최적화 측면에서는 Bellman의 최적성 원리를 적용하여, 그라디언트 부스팅의 단계별 탐욕적(Greedy) 학습이 GTSM이라는 전체 경로 최적화 문제의 전역 최적해임을 이론적으로 뒷받침했다. 이는 부스팅 알고리즘을 SDE 공간에서의 궤적 구성 최적화로 재해석할 수 있게 한다.

제안된 이론적 프레임워크는 연속적인 특징 공간과 부드러운 정제 과정을 가정하므로, 범주형 변수가 지배적이거나 불연속성이 강한 데이터셋에서는 정렬이 완벽하지 않을 수 있다. 또한 현재 평가는 주로 연속적인 특징 공간에 집중되어 있다.