TL;DR

LimiX는 분류·회귀·결측치 보완 등 탭형 데이터 작업을 하나의 Transformer 기반 파운데이션 모델로 처리하는 library-SDK 성격의 저장소입니다. Docker 이미지와 HuggingFace 체크포인트(LimiX-16M, LimiX-2M)를 제공하며 추론용 API와 분산/검색 기반 앙상블 추론 워크플로를 포함해 바로 실험해볼 수 있도록 구성되어 있습니다. README와 제공된 그래프에서 LimiX-16M이 여러 공개 벤치마크에서 기존 탭형 SOTA 및 XGBoost 대비 우수한 성능을 기록하므로 성능 우선의 탭형 문제에 적용하기에 적합합니다.

핵심 포인트

• 이 저장소는 Python 기반의 모델·라이브러리·추론 인터페이스를 함께 제공하는 library-SDK 성격이며, 사전 학습된 체크포인트(LimiX-16M, LimiX-2M)와 Docker 이미지, HuggingFace 연동을 갖추고 있습니다. 모델 코드는 Transformer 기반 아키텍처와 샘플/피처 차원 attention, 샘플 검색 기반 앙상블 추론 파이프라인을 포함하여 로컬 추론과 분산 추론 둘 다 지원합니다. 요구 종속성(특히 flash_attn, 특정 PyTorch/CUDA 조합)과 RTX 4090급 이상 GPU 권장을 README에 명확히 적어 놓아 실무 도입 시 하드웨어·환경 요구사항을 즉시 파악할 수 있습니다.
• LimiX는 분류, 회귀, 결측치 보완(missing value imputation), 표본/피처 선택, 인과 추론 등 탭형 데이터의 다양한 작업을 하나의 모델 레시피로 처리하도록 설계된 구조화 데이터 파운데이션 모델입니다. 입력 X와 타깃 Y를 토큰화하여 샘플·피처 간 attention을 적용하고 고차원 표현을 분류·회귀 헤드로 전달하는 방식으로 작동하여 task-specific 네트워크 설계가 불필요하다고 명시하고 있습니다. 기술 보고서와 ICML 수락 등 학술적 근거 링크를 함께 제공해 아키텍처·학습법·검색 기반 앙상블 동작 원리를 추적할 수 있습니다.
• README에 실사용 예제와 추론용 API(LimiXPredictor 클래스, predict 메서드), 구성파일(config/*.json) 샘플을 포함하여 바로 다운로드·실행해볼 수 있게 되어 있습니다. Dockerfile로 컨테이너화된 환경 빌드를 권장하므로 의존성 충돌을 피하기 쉬우며, 단일 GPU·멀티 GPU(torchrun) 모두 지원하는 사용법이 예제 코드에 나와 있습니다. 또한 Optuna 기반 검색 도구를 제공해 검색·튜닝으로 샘플 검색 파라미터를 자동 최적화할 수 있어 현업 데이터에 맞춘 추론 튜닝이 편리합니다.
• 퍼포먼스와 릴리스 정책 측면에서 LimiX는 Apache-2.0 라이선스로 모델과 코드를 공개하고 있으며 HuggingFace 모델 허브 링크를 통해 체크포인트를 배포하고 있습니다. README와 그림에서 LimiX-16M이 주요 벤치마크(BCCO-CLS, TabArena-CLS, TabZilla-CLS, BCCO-REG 등)에서 기존 SOTA 및 XGBoost 대비 우수한 수치를 기록한 점을 명확히 제시하고 있습니다. 모델 크기별(16M, 2M) 트레이드오프와 LimiX-2M의 낮은 메모리·빠른 추론 강조로 실무 적용 시 성능·비용 균형을 선택할 수 있습니다.

벤치마크

이미지 분석