ELDR: PD 분리형 MoE 서비스에서 전문가-지역성 인식 디코드 라우팅

PD(Prefill–Decode) 분리 서빙에서 MoE 모델의 디코드 지연은 활성화되는 서로 다른 expert들의 합집합 크기에 지배된다. 이 합집합은 동일 도메인 요청끼리 모으면 작아지고, prefill 단계에서 이미 gate가 실행되므로 디코드 라우팅 시점에 그 신호를 읽을 수 있다. ELDR는 이 신호를 라우팅에 활용해 중간 및 극단 지연을 감소시켰다는 점에서 실무적 비용·지연 개선을 가져온다.

대형 MoE 모델의 decode 단계는 각 토큰이 선택하는 소수의 expert 때문에 배치가 여러 expert로 분산되면 메모리 대역폭 비용이 지배적이라는 사실이 출발점이다. 동일 도메인의 요청은 gate가 유사한 expert를 반복 선택하므로 같은 워커에 모으면 한 단계당 불러오는 서로 다른 expert 수가 줄어들어 디코드 비용이 감소한다. 실험에서 활성 expert 수가 16에서 128로 늘면 단일 MoE 레이어 지연이 4.7배 증가하는 등 활성 expert 수가 지연을 강하게 결정한다.

ELDR는 오프라인 캘리브레이션과 온라인 라우팅의 두 단계로 동작한다. 오프라인 단계에서 1,000개의 캘리브레이션 요청을 prefill하여 각 요청의 레이어별 expert 카운트를 수집하고, IDF로 흔한 expert를 내려잡은 뒤 greedy layer selection으로 정보량이 큰 레이어만 골라 L2 정규화된 시그니처 벡터를 만든다. 이 시그니처들을 Hungarian-balanced K-means로 군집화해 각 디코더에 하나의 균형 잡힌 centroid를 할당한다.

주요 실험은 Qwen3-30B-A3B, GPT-OSS-120B, Gemma-4-26B-A4B 세 모델과 task·language 두 워크로드에서 수행되었다. ELDR는 task 워크로드에서 최적의 로드밸런서 대비 median TPOT을 7.0–13.9% 줄였고 언어 워크로드에서는 5.9–10.0% 절감을 기록했다. 추가 실험으로 signature 구성 요소와 클러스터링 균형, locality-band 폭을 검증했고 discrete count⋅idf 시그니처와 Hungarian-balanced K-means, τ=0.1 조합이 최종 성능을 견인함을 확인했다.

시그니처는 각 레이어 ℓ에서 토큰별 top-k로 선택된 expert의 정수 카운트 c_r(ℓ,e)를 시작점으로 한다. 이 카운트에 대해 df(ℓ,e)를 계산해 IDF w(ℓ,e)=log((|C|+1)/(df(ℓ,e)+1))로 재가중한 뒤, 선택된 레이어 집합 S의 reweighted counts를 이어붙여 x_r를 구성하고 L2 정규화하여 s_r = x_r / ||x_r||_2를 얻는다. 시그니처 품질은 시그니처 간 코사인 거리와 실제 디코드 패턴 간 코사인 거리의 Spearman 순위 상관 ρ로 측정되며, 이 값이 클수록 클러스터링이 디코드-오버랩을 더 잘 예측한다.

ELDR의 성능 이득은 워크로드의 expert 활성화 분리 가능성에 의존한다; 도메인 경계가 모호하거나 시그니처가 약할 경우 이득이 축소될 수 있다. 오프라인 캘리브레이션은 모델, 데이터셋, 혹은 디코더 풀 크기가 변경되면 재실행이 필요하며 캘리브레이션 비용이 존재한다. 런타임 오버헤드는 요청당 약 0.86ms로 보고되었고 시그니처 캐시가 전체 KV 캐시의 1% 미만을 차지하지만 아주 엄격한 TTFT SLO 아래에서는 고려 대상이 될 수 있다.