서로 다른 규칙 체계의 대결을 예측하기 위해 XGBoost와 LLM 라벨러를 결합한 전체 스택 파이프라인 공개

게시물은 기술적 설계와 재현성 측면에서 관심을 불러일으킬 가능성이 크며, 특히 LLM을 라벨러로 쓴 접근과 SHAP 기반 설명 생성에 대해 긍정적 질문과 검증 요구가 혼재하는 반응이 예상된다. 데이터 누수 발견과 제거 후 오히려 성능이 향상된 사례는 회의적 독자에게도 신뢰할 근거를 제공했다. 동시에 LLM 자체의 편향 가능성과 라벨 품질 검증 방법에 대한 추가 논의가 이어질 여지가 있다.

• 훈련 전 train/test 분할에서 매치업 식별자나 조합 키를 기준으로 중복 검사를 수행해야 한다. 동일 매치업이 양측 집합에 분산된 경우 데이터 누수로 이어질 수 있고 이는 성능 지표를 왜곡한다. 자동화된 중복 탐지 스크립트를 파이프라인 초기 단계에 배치하는 것이 안전하다.
• 라벨을 외부 모델(예: LLM)로 생성할 때는 라벨의 생성 조건과 입력 제한을 명확히 기록해야 한다. 라벨러가 어떤 정보를 보았고 보지 않았는지 로그로 남겨라. 라벨 품질 평가는 인간 검증 표본과 통계적 일관성 검사로 병행해야 한다.
• 해석 가능성을 위해 SHAP와 같은 수치적 기여도 산출 후 그 값을 제약된 자연어 생성 계층으로 변환하는 절차를 도입할 수 있다. 수치→제약된 템플릿→생성 모델 순서로 파이프라인을 구성하면 수학적 근거를 유지하면서 설명 가독성을 확보할 수 있다.

Synthetic Data

— 실제 관측값 대신 알고리즘으로 생성한 레이블-데이터 쌍으로, 본문에서는 LLM이 원래 통계값을 보지 못한 상태에서 승패 라벨만 생성하도록 구성해 모델 편향을 줄이는 용도로 사용됐다. 이 방식은 원천 통계의 직접 노출 없이 결과 기반 학습을 가능하게 하며 교차 규칙 환경에서 사람의 휴리스틱을 학습하는 위험을 낮춘다.

Data Leak

— 학습 데이터와 검증(또는 테스트) 데이터 사이에 동일하거나 강하게 상관된 정보가 포함되어 모델 성능이 부풀려지는 현상으로, 본문에서는 train/test 분할 검증 과정에서 동일 매치업이 양측에 중복되어 초기 정확도를 왜곡했다가 이를 제거하자 오히려 성능이 개선된 사례가 보고됐다.

SHAP values

— 개별 예측에 대한 각 피처의 기여도를 수치화한 값으로, 본문에서는 XGBoost의 특성 기여도를 SHAP로 계산한 뒤 이를 LLM에 입력해 수학적 근거 기반의 자연어 설명을 생성하는 데 활용했다. SHAP는 트리 기반 모델에서 피처 중요도를 로컬·글로벌 관점으로 해석할 수 있게 한다.

LLM Labeling

— 거대한 언어 모델을 자동 라벨러로 활용해 원문 통계가 아닌 최소한의 식별자(캐릭터 이름·원칙)만 보고 승패를 판정하게 하는 방식으로, 이 절차는 인간 설계 휴리스틱을 배제하고 라벨 생성에서의 주관적 개입을 줄이는 목적이었다.