MinT: 수백만 개의 LLM 학습 및 서빙을 위한 관리형 인프라

포스트-트레이닝은 다수의 정책 변형을 단일 고가의 기지 모델 배포 위에 올려놓는 환경이다. Full checkpoint 기반 파인튜닝은 확장에 한계가 있으며, MinT는 base-model을 resident하게 유지하고 LoRA adapter revision을 통해 rollout, update, export, evaluation, serving, rollback를 연결하는 서비스형 RL 인프라를 제시한다. 이를 통해 다수의 정책 변형을 하나의 거대 모델에 흩뜨리지 않고 관리할 수 있으며, 1T-class 규모의 베이스 모델과 함께 수백만 규모의 어댑터 정책을 다룰 수 있다.

1. 시작점과 한계: Transformer의 Self-Attention은 시퀀스 내 모든 토큰 쌍의 관계를 계산하는데, 이로 인한 연산량은 시퀀스 길이의 제곱에 비례한다. 특히 많은 정책 변형이 하나의 기지(base) 모델 위에서 작동하는 RL 환경에서 전체 체크포인트를 매번 생성하는 방식은 자원 소모가 크다. LoRA를 통해 매개변수의 일부분만 학습하고, 적은 크기의 어댑터를 프로덕션에 올려도 파인튜닝 효과를 얻을 수 있다. 2) 해결 원리: MinT는 base-model을 resident하게 두고 LoRA 어댑터 revisions를 rollout, update, export, evaluation, serving, rollback로 연결하는 adapter-centered 워크플로우를 통해 학습-서빙 경계를 어댑터_revision으로만 이동시킨다. trainer는 adapter tensors와 optimizer state를 관리하고, exporter는 serving layout에 맞춘 PEFT 어댑터 파일을 생성한다. 3) 달라지는 점: 어댑터_revision은 서비스 단위로 관리되며, 어댑터 캐시-레이어(주소 가능 캐시, CPU 캐시, GPU batch)로 구분된 다층 캐시를 통해 대규모 정책 카탈로그를 다룬다. 4) 공헌의 실무적 의의: Scale Up( frontier-scale Dense 및 MoE), Scale Down(adapter-only handoff), Scale Out(1M catalog)으로 구성된 세 축에서, base 모델은 로딩-저장 없이 운영되며 어댑터 revision이 정책 단위로 확장되며 다tenant 운영이 가능하다.

단락 1: 전반적 접근 방식과 핵심 아이디어. MinT는 Tinker-호환 서비스로, 서비스 plane이 호출을 scheduling하고 policy-record를 해석해 worker에 할당한다. compute plane은 PEFT/ Megatron 트레이너, vLLM sampler/sserving actor로 구성되며, 세 축의 경계에서 adapter revision, rollout records, shared-base serving 등을 연결한다. 단락 2: 핵심 메커니즘. 어댑터는 trainer에서 export되어 PEFT 레이아웃으로 재구성되며, 멀티-TP / EP 구조에서 LoRA 텐서를 모듈별로 수집·재배치한다. MoE의 경우 expert-별 LoRA 텐서를 수집하고, shared-expert 텐서를 중복 없이 재구성한다. 단락 3: 시간-분할 학습. 다수의 정책을 하나의 resident base에서 time-slice 방식으로 학습하며, 각 정책의 LoRA 텐서와 옵티마이저 상태를 교체한다. 단락 4: 공유-베이스 롤아웃 및 서빙. vLLM 엔진에서 resident base+어댑터를 조합해 추론하고, 어댑터 캐시는 Addressable Catalog, CPU Cache, GPU Batch의 3-tier로 관리된다. Cold loading은 scheduled work로 취급되며 ready 상태를 기준으로 신규 어댑터를 노출한다. 두-phase readiness는 신규 어댑터의 activation 및 노출 전까지의 대기 구간을 제어한다.

주요 결과는 세 가지 축의 검증으로 제시된다. 1) Scale Out의 1M packed catalog: 1,000,000개의 packed adapter revisions를 생성·감사했고, 100 shards에서 256개를 샘플링 audit에서 모두 OK로 확인되었다. 2) Open-loop warm capacity: 1MPacked catalog의 warm path에서 64개의 어댑터를 같은 배치에서 디코딩하며 TTFT ≤ 5s를 달성하는 시나리오에서 0.5–2 rps에서 SLO를 100% 달성했고, 4 rps에서 72.1%의 SLO 달성으로 knee가 관측된다. 3) Scale Down의 어댑터-핸드오프: Qwen3-4B에서 Adapter(LoRA rank-32) 파일 크기 252 MiB, Cold first-sample 4.114 s, 총 샘플링 속도 15.568/15.567 tok/s, 전체 대비 머지 경로의 71.8초를 절약한다. 30B MoE의 경우 Adapter(LoRA rank-16) 파일 1.692 GB, Cold first-sample 117.304 s, total 1.874/5.700 tok/s로 비교된다. 4) Scale Up의 학습/평가 경로: SFT(DPO) 및 GRPO에서 Dense 및 MoE 배포에서 학습-평가-서빙의 lifecycle이 같은 어댑터로 작동하며, 30B 및 235B MoE에서도 동일한 adapter lifecycle를 유지한다. 5) MoE/Kimi HPT 경로: 30B-A3B 및 235B-A22B, 1.04T KAK 카운트다운-task RL에서 LoRA RL 경로를 유지한다. 6) 캐시 및 cold-load 최적화: MoE LoRA의 tensor fanout을 줄이고, packed representation 도입으로 live-load를 8.5–8.7× 가속, cold-load에서 0.2초 수준의 로딩 시간을 달성한다. 7) Activation-주도 정책: Two-phase readiness를 통해 activation-대기 시간을 rollout/prewarm으로 이동시키고, ready-path에서 어댑터 로딩을 제거한다. 8) Native-vLLM caveat: 1M packed layout은 native vLLM에서 시작 시 실패하며, 표준 PEFT의 1k baseline과 비교할 때 작동 방식이 다름을 보여준다.

단락 1: 아키텍처 구조. 서비스 플레인-컴퓨트 플레인-영구 저장소로 구성되며, 세 가지 compute 영역이 존재한다. 1) Single-worker PEFT 트레이너: base 디리플리카를 하나 보유한 상태에서 LoRA 업데이트를 수행한다. 2) Megatron 트레이너 그룹: tensor-parallel, pipeline-parallel, ready-expert-parallel로 분할된 베이스 및 어댑터 텐서를 다룬다. 3) vLLM 샘플러/서빙 액터: inference base를 보유하고 export된 어댑터_revision을 적용해 롤아웃/서빙을 수행한다. 저장소에는 체크포인트, rollout_records, exported_revisions, 어댑터 캐시 상태가 저장된다. 단락 2: 핵심 메커니즘의 수학적/알고리즘적 기반. 어댑터_revision은 fixed PEFT 어댑터 파일로, 어댑터 텐서, rank, target_modules, base-model compatibility metadata를 포함한다. MoE의 경우 tensor-parallel 텐서 분할과 전문가 텐서를 수집하고, 공유-전문가 텐서를 중복 없이 재구성한다. 단락 3: Prior work 대비 차별점. 풀 체크포인트를 재생성하는 전통적 방법과 달리 어댑터_revision이 트레이닝-롤아웃-서빙 간의 경계를 가볍고 명확하게 이동한다. 또한 1M 카탈로그와 캐시-레이어를 분리해 대규모 다Tenant 운영에 적합한 주소화(addressability)와 locality를 구현한다. 단락 4: 구현/학습 세부사항. Time-sliced multi-LoRA 학습으로 하나의 resident base에서 여러 정책을 순차적으로 처리한다. 어댑터-수정 상태와 옵티마이저 상태를 정책 간 스위치 시에만 교체하고, base_weights는 재배치 없이 상주한다. MoE의 경우 라우팅 재현성(R3)을 기록하고, IcePop 롤아웃 보정으로 확률 차이로 인한 불일치를 완화한다. 단락 5: 이론적 분석/제한. 캐시-레이어 구조에서 cold-load는 scheduled work로 처리되며, warm-path latency와 cold-path latency를 구분해 관리한다. Native-vLLM과의 포지셔닝 차이가 존재하며, 1M catalog의 완전한 상주를 보장하지 않는다.

Native vLLM에서 1M packed layout의 시작은 실패한다는 caveat가 있다. 1k baseline은 PEFT 표준 레이아웃에서 동작하지만 1M packed catalog은 Native vLLM에서STARTUP 실패로 나타난다.