이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Red Hat의 실제 에이전트 서비스 데이터에 따르면 세션당 최대 3,000턴의 대화가 발생하며 KV 캐시 히트율이 90%를 상회한다. 이를 최적화하기 위해 llm-d는 캐시 생명주기를 고려한 지능형 라우팅과 Prefill/Decode 단계를 물리적으로 분리하는 Disaggregation 기법을 제안한다. 실험 결과 P99 ITL이 900ms에서 100ms로 감소했으며, GLM 5.2 모델을 H200에서 구동했을 때 TTFT가 4배 빨라지고 처리량이 60% 향상되었다. 다만 이러한 구조는 RDMA와 같은 고속 네트워크 인프라가 갖춰진 환경에서 중간 규모의 동시성 수준일 때 가장 효과적이다.
챕터별 상세
공공 벤치마크의 한계와 실제 에이전트 환경의 특성
공공 추론 벤치마크는 정제된 단일 실행 결과만 보고하여 실제 에이전트 환경의 복잡성을 반영하지 못한다. Red Hat의 실제 트레이스 분석 결과 세션당 최대 3,000턴의 대화가 발생하며 KV 캐시 히트율은 90%를 넘고 입력 대 출력 토큰 비율은 100:1에 달했다. 이러한 높은 캐시 의존성은 서버가 아닌 클라이언트가 캐시 생명주기를 제어할 때 추론 효율성을 결정짓는 핵심 요소로 작용한다. 벤치마크 수치와 실제 운영 데이터 사이의 간극을 이해하는 것이 최적화의 시작점이다.
KV 캐시의 경제성과 llm-d의 지능형 라우팅 전략
캐시된 토큰과 그렇지 않은 토큰 사이에는 약 10배의 비용 차이가 발생한다. llm-d는 이를 최적화하기 위해 엔드포인트 선택기, 오프로드 티어링, 캐시 축출 정책을 포함한 지능형 라우팅 전략을 사용한다. GPU를 추가하기 전에 라우팅 레이어에서 캐시 친화적인 포드로 요청을 전달하는 것이 비용 효율적인 최우선 해결책이다. 서버 측에서 캐시 수명을 관리함으로써 불필요한 재연산을 방지하고 자원 활용도를 극대화했다.
데모를 통한 캐시 히트 및 포드 어피니티 성능 검증
라이브 데모를 통해 동일한 포드에 요청이 전달되어 캐시를 재사용할 때와 다른 포드로 전달되어 캐시 미스가 발생할 때의 성능 차이가 확인됐다. 첫 요청에 3초가 걸렸던 작업이 캐시가 유지된 포드에서는 1초로 단축되었으나, 시스템 프롬프트가 새로운 포드에 할당되자 다시 3초의 지연 시간이 발생했다. 이는 포드 어피니티 관리가 실제 서비스 응답 속도에 미치는 직접적인 영향을 입증한다. 라우팅 최적화만으로도 사용자 체감 속도를 3배 개선할 수 있음을 보여주었다.
Prefill과 Decode 간섭 문제와 Disaggregation 아키텍처
연산 중심의 Prefill 단계와 메모리 대역폭 중심의 Decode 단계가 자원을 공유할 때 발생하는 간섭이 성능 병목의 원인이다. llm-d는 두 단계를 물리적으로 분리하는 Disaggregation 아키텍처를 통해 긴 입력 프롬프트가 토큰 생성 과정을 중단시키지 않도록 설계했다. 이를 통해 16개의 H100 GPU 환경에서 gpt-oss 모델을 서비스할 때 토큰 생성의 일관성을 확보했다. 두 단계의 워크로드 특성에 맞춰 자원을 독립적으로 할당하는 것이 핵심이다.
동시성 곡선에 따른 Disaggregation의 효용성과 인프라 제약
Disaggregation 적용 후 P99 ITL이 기존 900ms에서 100ms 수준으로 약 9배 개선되었으며 지연 시간 곡선이 눈에 띄게 매끄러워졌다. 다만 이 기술은 RDMA나 RoCE와 같은 고속 패브릭 인프라가 갖춰져 워커 간 캐시 이동이 자유로운 환경에서만 유효하다. 인프라가 갖춰지지 않은 경우 오히려 성능이 저하될 수 있으므로 기존의 통합 구조를 유지하는 것이 낫다. 동시성 수준이 중간 대역일 때 분리 구조의 이점이 가장 극대화된다.
H200 기반 GLM 5.2 사례 연구 및 성능 최적화 결과
실제 고객 환경을 모사하여 H200 GPU에서 GLM 5.2 모델을 구동한 결과 Prefill 워커 3개와 Decode 워커 1개의 비율로 자원을 할당했을 때 TTFT는 4배 빨라졌고 초당 처리 가능한 요청 수는 60% 증가했다. 이는 최신 하드웨어와 최적화된 소프트웨어 아키텍처의 조합이 실제 서비스 지표를 어떻게 개선하는지 보여주는 구체적인 근거이다. B200과 같은 차세대 칩 없이도 기존 H200 자원의 효율적 배분만으로 상당한 성능 향상을 달성했다.
용어 해설
- 프리필-디코드 분리 아키텍처(Prefill-Decode Disaggregation)
- — LLM 추론의 두 단계인 Prefill(입력 처리)과 Decode(토큰 생성)를 물리적으로 다른 GPU 자원에서 실행하는 기술이다. 연산 집약적인 Prefill과 메모리 대역폭 집약적인 Decode의 자원 경합을 방지하여 전체적인 추론 효율을 높인다.
- 첫 토큰 생성 시간(TTFT)
- — 사용자의 요청이 입력된 후 첫 번째 토큰이 출력될 때까지 걸리는 지연 시간이다. 실시간 대화형 서비스에서 사용자 경험을 결정짓는 가장 중요한 성능 지표 중 하나로 꼽힌다.
- 토큰 간 지연 시간(ITL)
- — 연속적인 두 토큰이 생성되는 사이의 시간 간격이다. ITL이 낮고 일정할수록 텍스트가 끊김 없이 매끄럽게 출력되며, 시스템의 안정적인 처리 능력을 나타낸다.
- KV 캐시(KV Cache)
- — 이전 대화 문맥의 Key와 Value 행렬 연산 결과를 메모리에 저장해두는 기술이다. 동일한 문맥이 반복될 때 재연산을 건너뛰어 추론 속도를 높이고 비용을 절감하는 핵심 역할을 한다.
- 원격 직접 메모리 접근(RDMA)
- — CPU의 개입 없이 네트워크를 통해 한 컴퓨터의 메모리 데이터를 다른 컴퓨터의 메모리로 직접 전송하는 기술이다. 분산 추론 환경에서 GPU 간 데이터를 초고속으로 교환하는 데 필수적이다.
언급된 리소스
GitHubllm-d GitHub Repository
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 27.수집 2026. 08. 28.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
