TabFM·TimesFM을 Docker로 묶어 제로샷으로 실행하는 Zer0Fit 레포 공개 및 기본 벤치마크

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 TabFM과 TimesFM의 PyTorch 구현을 단일 Docker 기반 MCP 컨테이너로 묶어 Open WebUI·CLI로 제로샷 테스트를 쉽게 할 수 있게 만든 Zer0Fit 레포를 공개했고 설치 스크립트와 샘플 데이터를 포함해 재현을 용이하게 했다. 구현은 모델을 VRAM에 동적으로 로드·언로드하는 TTL(5분) 정책을 적용하고 CUDA 전용으로 약 16GB 이상의 GPU 메모리를 권장하며 DGX Spark·3090 등에서 제한적으로 테스트되었다. 공개된 예비 벤치마크에서는 Iris 분류 정확도 94.7%와 California Housing 회귀 비교 차트(R² 수치 표기 포함), TimesFM의 시계열 MAE 등 구체적 오류값이 제시되어 작성자가 결과 검증을 커뮤니티에 요청했다. 결과는 실험적이며 환경·전처리·검증 절차에 따라 달라질 수 있으므로 동일 데이터와 스크립트로 추가 재현 검증이 필요하다.

실용적 조언

해당 레포는 PyTorch·CUDA 전용으로 설계되어 있으므로 실행 전에 GPU 드라이버와 CUDA 버전(CUDA 12.6 이상 권장)을 확인해야 한다.
동일 환경 재현을 위해 레포에 포함된 샘플 데이터와 테스트 스크립트를 사용해서 비교 실험을 수행하고 결과 차이가 발생하면 환경·버전·전처리 차이를 점검해야 한다.
로컬에서 여러 모델을 운용하려면 작성자가 구현한 TTL 기반 모델 언로드를 활용해 VRAM 점유를 줄일 수 있으나 대규모 서비스 목적이라면 모델 분리 또는 더 큰 VRAM을 확보하는 것이 필요하다.

섹션별 상세

01

작성자는 TabFM과 TimesFM의 PyTorch 버전을 하나의 Docker 기반 MCP 컨테이너로 통합해 로컬에서 대화형으로 호출할 수 있게 구성했고 설치는 git clone과 install.sh로 자동화되며 CUDA 환경에서만 동작한다고 적었다. 구현은 모델을 VRAM에 동적으로 로드·언로드하고 로드된 모델에 TTL을 5분으로 적용하는 방식으로 메모리 점유를 관리하며 이로 인해 동일 호스트에서 여러 모델을 순환 사용 가능하도록 설계되었다. 테스트 환경으로는 DGX Spark(ARM·CUDA13), 3090(AMD64·CUDA12.6) 등을 명시했고 요구 VRAM으로 약 16GB 이상을 권장했다.

California Housing 데이터에서 TabFM의 회귀 성능을 전통적 모델과 비교한 바 차트로 TabFM의 R²와 MAE·RMSE 지표를 보여준다. — Chart차트는 TabFM(제로샷)이 R² 0.8754, MAE 0.214, RMSE 0.344로 표기되어 있고 비교군으로 Random Forest·Gradient Boosting·Ridge·선형회귀의 지표를 함께 나열해 전통적 방법과의 상대 성능을 시각화한다. 오류막대와 5-폴드 셔플드 교차검증 설정이 캡션에 언급되어 있어 실험 설정이 일부 표준화되었음을 시사한다. 이 이미지는 작성자가 제로샷 모델이 적어도 일부 회귀 태스크에서 경쟁력 있는 성능을 기록했음을 근거 수치로 전달한다.

02

작성자는 표준 데이터셋을 이용해 제로샷 성능을 비교했고 Iris 분류에서는 94.7% 정확도를 보고했으며 게시물에 포함된 차트에서는 California Housing 회귀에서 TabFM의 R²가 0.8754로 표시되었다. 시계열 예측 실험에서는 TimesFM의 12개월 워크포워드 홀드아웃 테스트 MAE가 13.4로 보고되었고 비교 대상인 전통적 Auto-Regressive 모델(시차 24)의 MAE는 10.2로 이미지 캡션에 명시되어 있다. 작성자는 벤치마크 코드와 샘플 데이터를 레포에 포함해 동일한 조건의 재현을 용이하게 했고 결과의 정확성 검증을 커뮤니티에 요청했다.

Airline Passengers 시계열 예측에서 TimesFM과 전통적 Auto-Regressive 모델들 간의 예측 궤적과 하단에 MAE·RMSE·MAPE 비교 막대그래프를 보여준다. — Chart상단 패널은 4년 학습 후 12개월 예측 구간에서 실제 값과 각 모델의 예측 궤적을 겹쳐 보여주며, 하단 막대그래프는 TimesFM의 MAE 13.4, Auto-Regressive(lag=24)의 MAE 10.2 등 구체적 오류값을 제시한다. 이 이미지는 작성자의 시계열 실험에서 전통적 AR 모델이 일부 지표에서 TimesFM보다 우수함을 정량적으로 보여주며, 실험이 동일 홀드아웃 절차로 비교되었음을 캡션이 명시한다. 시각적 비교는 모델별 시계열 패턴 추종 능력과 오류 규모의 차이를 직관적으로 파악하게 한다.

03

작성자는 자신의 개발 동기를 학습·하이퍼파라미터 튜닝의 복잡성 회피와 교육적 실험에서 찾았고 그 결과로 파운데이션 모델을 채택하면 학습 없이도 표준 ML 태스크에서 합리적 성능을 얻을 수 있다는 주장을 제시했다. 구현 측면에서는 Open WebUI 스킬로의 통합 파일을 제공해 로컬 LLM 인터페이스나 Claude Code, Codex CLI로 연결하여 데이터 업로드 후 바로 예측까지 이어지도록 설계되었다. 이 접근은 모델 구축·훈련·튜닝에 익숙하지 않은 사용자가 빠르게 실험을 시작할 수 있다는 실용적 장점을 제공한다.

Iris 분류 실험에서 TabFM의 정확도를 전통적 분류기들과 같은 훈련/검증 분할 하에서 비교한 가로 막대 차트가 포함되어 있다. — Chart이미지의 좌우 패널은 50/50 분할과 5-폴드 셔플드 CV 조건에서 SVM·KNN·Logistic Regression·Random Forest와 TabFM(제로샷) 성능을 비교하며 TabFM의 정확도는 94.7%로 레퍼런스 점선으로 표시되어 있다. 이 시각자료는 작성자가 TabFM을 동일 데이터 분할 조건에 맞춰 비교했음을 보여주고, 일부 전통적 모델들이 TabFM과 근접하거나 더 높은 정확도를 보이는 경우도 나타난다. 차트는 모델 비교 결과의 상대적 위치와 특정 실험 조건(데이터 분할 방식)이 성능에 미치는 영향을 보여준다.

04

작성자는 구현의 한계와 실험 범위를 명확히 밝혔고 리포는 '매우 실험적'이라는 경고와 함께 유지 관리를 약속하지 못한다고 표기했으며 DGX Spark에서만 제한적 테스트를 수행했다고 명시했다. 코드와 데이터가 공개되어 있으므로 연구자들이 동일 데이터로 결과를 재현하거나 통제된 비교를 수행할 수 있고 작성자는 커뮤니티의 피어리뷰를 요청했다. 따라서 현재 보고된 성능은 예비 결과로 해석되어야 하며 추가 검증이 필요하다.

레포 실행 결과 스크린샷으로 Zer0Fit가 Iris 데이터로 분류를 수행한 후 산출한 성능 표와 혼동 행렬을 보여준다. — Screenshot스크린샷은 모델 성능 요약에서 정확도 94.67%(71/75)를 표기하고 클래스별 정밀도·재현율·F1 점수 및 혼동 행렬을 포함해 실제 예측 오류가 ‘Versicolor’를 Virginica로 4건 잘못 분류한 것으로 보고한다. 이 이미지는 레포 실행을 통해 얻은 개별 실험 결과의 상세 출력을 근거로 제시하며, 작성자가 실험 로그와 성능 테이블을 레포에 포함시켰음을 확인할 수 있다. 출력 포맷은 재현 가능한 평가 절차와 결과 검토를 용이하게 한다.

05

리포와 글에는 하드웨어·드라이버·CUDA 버전 호환성 같은 운영 세부사항이 포함되어 있어 실제 배포를 고려할 때 세부 조정이 요구된다는 현실적 조언이 존재한다. 예로 PyTorch 기반이며 CUDA 전용이라는 제약 때문에 Mac 환경에서는 작동하지 않고, 작성자는 자동 설치 스크립트가 아키텍처를 감지하나 실제 환경별 차이는 사용자가 점검해야 한다고 명시했다. 이 점은 여러 GPU 플랫폼에 동일 이미지를 사용하려는 엔지니어에게 중요한 운영상 고려사항으로 작용한다.

용어 해설

제로샷(Zero-Shot): — 학습 시 해당 특정 태스크의 레이블 데이터를 사용하지 않고 모델이 바로 예측을 수행하는 접근법으로, 입력 특성에서 일반화된 패턴을 이용해 훈련되지 않은 태스크에 응답하는 방식이다. 이 글 맥락에서는 TabFM/TimesFM이 태스크별 미세조정 없이 표준 데이터셋에서 분류·회귀·예측을 수행한 결과를 지칭한다. 제로샷 성능은 모델의 사전학습 범위와 입력 특성에서의 일반화 능력을 직접적으로 반영하기 때문에 비교 실험에서 핵심 평가 지표가 된다.
파운데이션 모델(Foundation Model): — 대량의 데이터로 사전학습되어 다양한 다운스트림 태스크에 적응할 수 있는 범용 모델 계열로, 본문에서는 TabFM·TimesFM처럼 특정 데이터 유형(표형·시계열)에 대해 사전학습된 대형 변환기 기반 모델을 가리킨다. 이러한 모델은 태스크별 미세조정 없이도 제로샷 또는 소수샷으로 성능을 낼 수 있도록 설계되며 입력 전처리와 토크나이제이션 방식이 결과에 큰 영향을 미친다. 실무에서는 파운데이션 모델을 경량 래퍼나 오케스트레이션 레이어와 결합해 특정 워크플로에 적용한다.
표형 데이터(Tabular Data): — 행과 열로 구성된 구조화된 데이터로서 범주형·수치형 피처가 혼재하는 경우가 많으며, TabFM은 이러한 형태의 입력을 직접 처리하도록 설계된 변환기 아키텍처를 사용한다. 표형 데이터 처리는 결측치 처리, 범주형 인코딩, 스케일링 같은 전처리 단계와 피처 상호작용 포착 방식이 성능에 결정적 영향을 미친다. 본문 실험에서는 Iris·California Housing 같은 표준 표형 데이터셋을 활용해 모델 성능을 비교했다.
VRAM 관리(VRAM Management): — GPU 메모리 할당과 해제를 동적으로 제어해서 다수 모델을 제한된 VRAM에서 운용하는 방법으로, 글에서는 모델을 컨테이너 내에서 로드·언로드하는 TTL 기반 정책으로 VRAM 점유를 조절한 구현이 포함된다. 동적 언로드는 다중 모델 환경에서 메모리 충돌을 줄이고 동일 호스트에서 복수 모델을 서비스 가능하게 만든다. 실전에서는 모델 크기·CUDA 버전·드라이버 호환성이 VRAM 관리 전략의 성능을 좌우한다.

언급된 도구

Zer0Fit (repo)중립링크

TabFM/TimesFM PyTorch 구현을 Docker 기반 MCP로 통합해 Open WebUI·CLI와 연동하도록 하는 래퍼 코드

TabFM추천

표형 데이터용 파운데이션 변환기 모델로서 제로샷 분류·회귀에 사용된 모델

TimesFM추천

시계열 예측용 파운데이션 모델로서 12개월 워크포워드 예측에 사용된 모델

PyTorch추천

모델 실행과 GPU 가속을 위한 딥러닝 프레임워크

언급된 리소스

GitHubZer0Fit GitHub 레포

문서Introducing TabFM — Google Research 블로그