TL;DR
LLM 서비스에서 사용자가 체감하는 지연은 첫 토큰 응답 시간(TTFT)에 의해 좌우되며, 이 시간은 프리필 비용, 네트워크 RTT, 그리고 큐잉 지연의 합으로 구성된다. 복수 리전으로 분산된 추론 인프라에서는 동일 세션의 접두사(prefix)를 가진 요청을 같은 복제본으로 보내는 것이 캐시 이득을 주지만 트래픽 집중으로 큐잉 지연이 발생하면 이득이 상쇄된다. GORGO는 이 세 가지 요인을 동일한 비용 모델로 결합하고 배포별 실사용 TTFT 신호로 온라인 튜닝을 수행해 실제 운영 환경에서 라우팅 결정을 개선하는 실용적 대안을 제시한다.
왜 중요한가
LLM 서비스에서 사용자가 체감하는 지연은 첫 토큰 응답 시간(TTFT)에 의해 좌우되며, 이 시간은 프리필 비용, 네트워크 RTT, 그리고 큐잉 지연의 합으로 구성된다. 복수 리전으로 분산된 추론 인프라에서는 동일 세션의 접두사(prefix)를 가진 요청을 같은 복제본으로 보내는 것이 캐시 이득을 주지만 트래픽 집중으로 큐잉 지연이 발생하면 이득이 상쇄된다. GORGO는 이 세 가지 요인을 동일한 비용 모델로 결합하고 배포별 실사용 TTFT 신호로 온라인 튜닝을 수행해 실제 운영 환경에서 라우팅 결정을 개선하는 실용적 대안을 제시한다.
핵심 기여
통합된 TTFT 비용 모델화
논문은 TTFT를 네트워크 지연, 큐 대기, 프리필 비용 세 항의 가중합으로 수리적으로 기술해 라우팅의 단일 점수로 환산했다. 이 모델은 토큰 단위의 프리필과 시간 단위 RTT/큐 지표의 단위를 가중치로 정규화해 서로 다른 단위를 비교 가능하게 만들었다. 단일 비용식은 복제본 선택에서 캐시 이득과 포화로 인한 큐잉 비용, 그리고 지역 간 RTT를 동시에 고려하도록 설계되어 실환경 라우팅 의사결정 기준으로 작동한다.
온라인 1+1 진화 전략으로 가중치 튜닝
GORGO 프록시는 w_rtt와 w_queue 두 가중치를 온라인(서비스 중)으로 (1+1)-ES 방식으로 변화시켜 p95 TTFT를 직접 최적화했다. 로그-스케일 곱셈 변이와 클리핑 범위를 사용해 안정적으로 수렴하도록 설계했으며 Rechenberg의 1/5 성공 규칙으로 보폭 σ를 동적으로 조정했다. 이 접근은 서브선택 비용 없이 2차원 하이퍼파라미터 공간에서 빠르게 유효한 해를 찾는 경량 튜닝 메커니즘이다.
장문·높은 접두사 재사용 트레이스 ART-Chat-2.5M 공개
논문은 실제 프로덕션 메타데이터를 바탕으로 합성한 ART-Chat-2.5M을 공개해 긴 컨텍스트와 높은 intra-user 접두사 재사용을 포함한 라우팅 평가용 트레이스를 제공했다. ART-Chat-2.5M은 평균 입력 토큰 17,964와 intra-user 재사용 89.4%로 기존 공용 데ータ셋과 현저히 다른 워크로드 특성을 지녔다. 재생 가능한 Mooncake FAST’25 포맷으로 타임스탬프를 보존해 시간 스케일을 선형 조정하면서 포화 실험을 수행할 수 있게 만들었다.
실환경 벤치마크에서 p95 TTFT 및 E2E 개선 입증
Apr 5 튜닝 윈도우에서 학습한 가중치를 고정한 채 Apr 6–7의 홀드아웃 평가를 수행해 GORGO가 기준 정책 대비 p95 TTFT를 6.9–15.5% 개선하고 p95 E2E 지연을 14.3–30.9% 단축하는 성능 이득을 기록했다. 실험은 us-ashburn 프록시와 세 리전의 SGLang 엔진을 동일 워크로드로 병렬 벤치마크하여 네트워크 조건 차이를 통제했다. 비교 대상에는 simple-session-affinity, least-load, least-request, prefix-cache 정책이 포함되어 실무적 기준과 직접 비교 가능한 결과를 제시했다.
핵심 아이디어 이해하기
대형 컨텍스트 LLM 서비스에서는 동일 세션의 이전 토큰 상태가 복제본의 KV-Cache에 남아 있을 때 프리필 비용(prefill)이 크게 줄어 TTFT가 개선된다. 반면 복제본에 트래픽이 집중되면 메모리와 디코드 자원이 포화되어 앞선 요청들의 처리로 인해 큐잉 지연이 발생하므로 단순히 캐시 재사용만 극대화하면 오히려 퍼포먼스가 악화될 수 있다. 따라서 라우팅 결정은 프리필 절감 이득과 큐잉 비용 및 지역 간 네트워크 RTT를 함께 거래(trade-off)해야 한다.
방법론
논문은 각 복제본 i에 대해 TTFT를 다음 합으로 정의했다: TTFT = T_network(RTT_i) + T_queue(i, Σ x_j) + T_prefill(x_r \ c_i). 여기서 T_network는 프록시와 복제본 간의 RTT EWMA, T_queue는 완료 이벤트가 없는 대기 중 요청들의 총 토큰 수로 근사한 큐 부하, T_prefill은 요청에 대해 캐시에 없는 토큰만큼 걸리는 프리필 시간이다. 이 세 항을 서로 비교 가능한 스케일로 만들기 위해 논문은 T_prefill 항을 기준(가중치 1)으로 고정하고 T_network와 T_queue에 w_rtt, w_queue라는 가중치를 곱해 단일 비용을 계산했다.
관련 Figure
차트는 ART-Chat-2.5M이 intra-user 접두사 재사용 비율 89% 수준과 평균 입력 토큰 17,964를 보이며 기존 공개 데이터셋보다 접두사 재사용과 컨텍스트 길이가 훨씬 크다는 점을 시각적으로 확인시킨다. WildChat은 cross-user 재사용이 상대적으로 높고 평균 토큰 길이는 짧아 캐시 기반 이득이 작게 나타나는 워크로드 특성을 보인다. 이 그림은 GORGO가 긴 컨텍스트·높은 세션 재사용 워크로드에서 효과를 발휘하도록 데이터 준비와 평가 환경을 설계한 근거를 보강한다.
ART-Chat-2.5M, LMSYS-Chat-1M, WildChat-4.8M의 접두사 재사용과 평균 토큰 길이를 비교한 차트이다.
플롯은 us-ashburn과 같은 리전은 수십 밀리초 수준의 낮은 RTT를 보인 반면 ap-seoul 등 먼 리전은 수백 밀리초 수준으로 변동성이 크다는 것을 나타낸다. 이 값들은 GORGO의 비용 모델에서 네트워크 항을 고려해야 하는 실질적 근거가 되며, 실험에서 RTT를 30초 간격 EWMA로 측정해 비용 입력으로 사용한 방식을 시각적으로 보완한다. 네트워크 지연의 규모 차이는 복제본 선택에서 w_rtt의 영향이 클 수 있음을 암시한다.
튜닝 윈도우 동안 프록시(us-ashburn)와 세 리전 간 RTT 시계열을 보여주는 플롯이다.
주요 결과
튜닝 윈도우(Apr 5)에서 GORGO는 온라인 튜닝을 통해 w_rtt=0.276과 w_queue=0.5로 수렴했고, 홀드아웃 평가(Apr 6–7)에서 동일 가중치를 고정해 사용했을 때 p95 TTFT가 기준 대비 6.9–15.5% 개선되고 p95 E2E 지연이 14.3–30.9% 개선되는 성과를 기록했다. 수치적 예로 Apr 6에서 GORGO의 TTFT p95는 1,584ms로 simple-session-affinity의 1,875ms보다 유의하게 낮았다. 또한 1+1-ES 튜너는 672 샘플(진화 스텝 18)에서 지역 최적에 도달해 안정화되는 수렴 거동을 보였다.
관련 Figure
그림은 두 가중치가 약 672 샘플(진화 스텝 18)에서 지역 최적에 도달해 안정화되는 경향을 보여주며, 목적함수(음의 p95 TTFT)가 수렴하는 과정을 우측에 함께 플롯해 튜너의 수렴 속도를 확인할 수 있다. 이 수렴 거동은 온라인 튜닝이 실시간 트래픽에서 실용적으로 적용 가능하다는 근거를 제공하며 튜너가 탐색 과정에서 일시적으로 성능 저하를 경험할 수 있음을 시사한다. 그림은 결과 단락의 성능 수치와 직접 연결되어 튜닝 윈도우에서의 수렴 효과를 정량적으로 보강한다.
GORGO의 1+1-ES 튜닝 과정에서 w_rtt와 w_queue의 궤적 및 목적함수(score) 수렴을 보여주는 그림이다.
기술 상세
전체 아키텍처는 프록시가 각 요청에 대해 모든 복제본의 비용을 계산하고 최소 비용 복제본으로 라우팅하는 단일 라운터 구조로 설계되었다. 비용은 가중합 TTFT = w_rtt * T_network(RTT_i) + w_queue * T_queue(i, Σ x_j) + T_prefill(x_r \ c_i)로 계산되고, 프리필 항의 가중치는 1로 고정하여 상대비교만으로 복제본을 선별한다. 이 설계는 엔진 내부 수정 없이 프록시 수준에서 동작하며 SGLang과 같은 엔진에서 제공하는 메트릭을 30초 단위로 스크랩해 비용 입력으로 사용한다.
한계점
평가가 단일 프로덕션 트레이스와 균질한 리전 구성(세 리전, 각 복제본 두 개 GPU)에서 이루어졌으므로 하드웨어 혼합이나 더 많은 복제본에 대한 일반성은 검증되지 않았다. 온라인 튜너가 p95 TTFT라는 단일 목적함수를 최적화하기 때문에 연속 배칭과 결합되면 트래픽을 가장 가까운 복제본으로 몰아 E2E 및 ITL 꼬리 지연을 악화시킬 가능성이 있다. 논문은 프리필과 디코드 분리(disaggregation)를 고려하지 않았으므로 분산 아키텍처에서의 다른 설계 대안과의 상호작용은 미검증 상태이다.
실무 활용
GORGO는 프록시 레벨에서 추가 엔진 변경 없이 실사용 트래픽 데이터로 가중치를 온라인 튜닝해 라우팅 결정을 자동으로 보정하는 방식이어서 운영 환경에 직접 도입 가능하다. 코드와 ART-Chat-2.5M 트레이스가 GitHub에 공개되어 재현성과 배포 테스트가 용이하다. 다만 연속 배칭 환경에서는 튜너가 트래픽을 가장 가까운 복제본으로 몰아 TTFT를 낮추는 대신 E2E와 ITL tail를 악화시킬 수 있으므로 적용 시 트래픽 포화 프로파일을 함께 모니터링해야 한다.
- 지리적으로 분산된 추론 인스턴스에서 KV-Cache 재사용이 높고 세션 중심의 긴 컨텍스트 워크로드를 운영하는 실서비스의 라우팅 최적화.
- 운영 중인 프록시에서 실트래픽을 이용해 라우팅 하이퍼파라미터를 자동 보정하여 운영자가 수동으로 상수값을 조정할 필요를 줄이는 환경.
- 새로운 리전 추가나 트래픽 프로파일 변화 시 짧은 캘리브레이션 윈도우로 최적 가중치를 찾아 적용해 TTFT 개선을 기대하는 배포 시나리오.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- KV-Cache
- — 입력 시퀀스의 key-value 상태를 저장해 이전에 계산한 토큰 생성 중간 결과(prefill)를 재사용하는 메커니즘이다. 캐시에 존재하는 접두사는 재연산 없이 바로 재사용되어 프리필 비용이 줄어들며, 멀티턴 챗 시나리오에서 TTFT를 크게 낮출 수 있다. 본 논문에서는 캐시 지역성(cache locality)과 복제본 간 라우팅 결정의 핵심 요소로 취급된다.
- Time-to-First-Token (TTFT)
- — 클라이언트 요청이 시작된 시점부터 모델이 첫 번째 토큰을 반환할 때까지 걸리는 전체 지연을 의미한다. 네트워크 왕복 시간, 프리필 처리 시간, 그리고 앞선 요청들로 인한 큐잉 지연의 합으로 구성되어 라우팅 정책의 최적화 대상이 된다. p95나 p99 같은 상위 퍼센타일 지표로 서비스 품질을 평가하는 핵심 지표로 사용되었다.
- Prefix Cache
- — 요청의 접두사(앞부분) 토큰을 단일 복제본의 캐시에 저장해 동일 또는 유사한 접두사를 가진 이후 요청에서 프리필을 건너뛰게 하는 전략이다. 접두사 재사용률이 높을수록 프리필로 인한 비용이 크게 줄어 TTFT 개선 효과가 커진다. 논문에서는 복제본 선택 시 프리픽스 캐시 중복(overlap)을 비용 항으로 포함해 라우팅 결정을 내렸다.
- Continuous Batching
- — 엔진가 새 요청을 현재 실행 중인 배치에 이어서 즉시 수용할 수 있게 하는 처리 패러다임으로, 배치 크기가 허용하는 한 프리필·토큰 재사용을 촉진한다. 동일 복제본으로 모든 요청을 집중시키면 낮은 TTFT를 달성할 수 있지만 메모리 포화와 HOL(queue) 지연으로 E2E/ITL tail가 악화될 위험이 존재한다. GORGO의 튜너는 이 동작을 학습 공간에서 실수로 찾을 수 있음을 관찰했다.
- 1+1 Evolutionary Strategy
- — 하나의 부모 해설과 하나의 자식 해설을 비교해 더 나은 쪽을 선택하는 단순한 진화 기반 하이퍼파라미터 튜닝 기법이다. 로그 공간에서 곱셈식 변이를 적용하고 성공 확률 규칙(Rechenberg의 1/5 규칙)을 따라 보폭(σ)을 조정해 빠르게 수렴한다. 논문에서는 w_rtt와 w_queue 두 차원에서 오버헤드 없이 온라인으로 가중치를 조정하기 위해 사용되었다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
