Cluster, Route, Escalate: 비용 인식형 LLM 서빙을 위한 계단식 캐스케이드 프레임워크

대형 언어 모델을 프로덕션에서 운영할 때 정확도와 추론 비용 사이에 명확한 절충이 존재한다. 본 논문은 클러스터 기반 라우팅과 사후 품질 추정(QE) 캐스케이드를 결합하여 이 절충을 예산(특히 TPOT) 제약 하에 명시적으로 제어할 수 있음을 보였다. 이 접근은 추가 주석 없이 표준 task-correctness 레이블만으로 작동하며 모델 풀 변경 시에도 재설정 비용을 최소화하도록 설계되었다.

대형 언어 모델의 배포에서는 쿼리 난이도 분포에 따라 같은 모델에 대한 자원의 투자가 비효율적으로 변한다. 쉬운 쿼리는 작은 모델로도 충분히 정확할 수 있으나, 어려운 쿼리는 더 큰 모델을 요구하므로 단일 모델을 고집하면 비용 또는 정확도 측면에서 낭비가 발생한다. 본 논문은 쿼리를 의미적으로 군집화하여 군집별로 서로 다른 모델을 지정함으로써 이 낭비를 구조적으로 줄이는 발상에서 출발했다.

시스템은 두 단계로 구성되며 첫 단계는 오프라인에서 쿼리 임베딩을 all-MiniLM-L6-v2로 인코딩한 뒤 k-means로 군집화하고 각 군집별로 모델 성능(Error)과 TPOT를 계산해 Score(m,c)=Error(m,c)+λ⋅Cost_norm(m)로 모델 점수를 매긴다. Cost_norm(m)은 TPOT(m)−TPOT_min를 TPOT_max−TPOT_min로 정규화한 값이며 이 값은 0에서 1 사이가 되어 λ의 해석을 용이하게 한다. λ은 훈련 데이터에서 사용자 지정 TPOT 예산 B를 만족하면서 시스템 정확도 Acc(λ)를 최대화하는 값으로 자동 선택되며, 이 λ 표를 통해 라우팅 영역이 결정된다.

AIME 2024 실험에서 세 군집과 두 모델(VibeThinker-1.5B, Qwen3-30B)을 사용해 λ*=0.06을 선택했을 때 Stage 1만으로 TPOT를 11.8ms에서 9.5ms로 약 19% 감소시켰고 정확도는 89.1%에서 86.4%로 2.7%p 하락했다. Stage 2 QE를 추가한 Stage 1+2 시스템은 C1에서 평균 0.6개의 쿼리를 에스컬레이션해 C1 정확도를 96%로 끌어올렸고 전체적으로 88.4% 정확도·9.7ms TPOT를 달성해 항상 강력 모델을 사용한 경우 대비 0.7%p 이내의 정확도 차이에 18% 낮은 지연을 기록했다. TeleQnA 실험에서는 λ*=0.07 하에서 Stage 1+2가 74.3% 정확도·23.8ms TPOT를 달성해 Stage 1 대비 3.1%p의 정확도 회복과 4.7ms의 추가 TPOT를 보였고 항상 강력 모델을 사용할 때보다 0.7ms 더 낮은 TPOT로 2.1%p 이내의 정확도 차이를 유지했다.

전체 아키텍처는 오프라인 구성 요소와 온라인 추론 경로로 나뉜다. 오프라인에서는 훈련 쿼리의 임베딩을 계산해 k-means로 군집을 생성하고 각 군집-모델 쌍의 Error(m,c)와 모델별 TPOT를 측정해 라우팅 테이블을 구성한다. 온라인에서는 쿼리 당 한 번의 임베딩과 하나의 argmin 연산으로 할당된 모델을 결정하여 지연을 최소화한다.

클러스터 중심과 라우팅 테이블은 오프라인에서 계산되어 추론 시 쿼리 분포 변화에 자동 적응하지 못하며, 분포 이동에 대응하려면 새로운 task-correctness 레이블 수집과 파이프라인 재실행이 필요하다. TPOT는 디코딩 속도를 잘 포착하지만 큐잉, 네트워크 오버헤드, 배칭 효과 같은 실제 서비스 지연 요소를 포함하지 않아 배포 환경에 따라 Pareto 경계가 달라질 수 있다. 또한 이 프레임워크는 후보 모델들이 동시에 GPU 메모리에 상주해야 하므로 VRAM 제약이 있는 배포에서는 적용 가능한 모델 풀이 제한된다.