LLM 성능 테스트의 핵심: Throughput과 Goodput의 차이

섹션별 상세

Throughput은 초당 요청 수(req/s) 등 시스템의 총 작업량만을 측정하며, 개별 요청의 지연 시간이나 성공 여부를 구분하지 못한다. 이로 인해 시스템이 정상적으로 작동하는 것처럼 보여도 실제 사용자는 높은 지연을 경험하는 상황이 발생한다. 기존 웹 성능 테스트 도구들은 이 한계를 보완하기 위해 백분위 지연 시간(p95, p99)을 사용한다.

Throughput과 Goodput의 개념적 차이를 설명하는 다이어그램 — DiagramThroughput은 시스템이 처리한 모든 요청을 의미하고, Goodput은 그중 SLO를 만족하는 유효한 요청만을 필터링하여 보여준다. 이 이미지는 단순 처리량과 실제 서비스 품질의 차이를 시각적으로 전달한다.

근거

Throughput은 시스템의 총 작업량을 나타내지만, 응답 품질이나 지연 시간은 고려하지 않는다. — The Problem with Throughput Alone section

Goodput은 TTFT와 ITL 등 사전에 정의된 SLO를 충족하는 요청만을 계산하여 실제 사용자 관점의 서비스 품질을 측정한다. LLM 추론에서 TTFT가 길어지거나 ITL이 증가하면 사용자는 응답 지연이나 끊김을 경험하며, 이는 Throughput 지표에는 반영되지 않는다. Goodput은 이러한 성능 저하를 직접적으로 포착한다.

근거

Goodput은 TTFT와 ITL 등 정의된 SLO를 충족한 요청만을 계산한다. — What is Goodput? section

NVIDIA AIPerf는 --goodput-ttft와 --goodput-itl 플래그를 통해 설정된 SLO 기준에 따라 Goodput을 자동으로 계산한다. 부하 증가 시 Throughput은 유지되더라도 Goodput이 급격히 하락하는 현상은 시스템의 성능 한계와 품질 저하를 나타내는 핵심 지표이다. 이 지표는 시스템의 실제 생산 준비 상태를 판단하는 기준이 된다.

기술

NVIDIA AIPerf
JMeter
k6
Llama 3.1

활용 사례

LLM 추론 성능 검증
생산 환경 부하 테스트

언급된 리소스

GitHubNVIDIA AIPerf

LLM 성능 테스트의 핵심: Throughput과 Goodput의 차이

섹션별 상세

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

LLM 추론 프레임워크 벤치마크의 함정과 실무 평가 절차

GLM-5.2 에이전트를 이용한 백엔드별 벤치마크: 스트리밍 지연과 캐시 효과

LLM 추론을 위한 API 게이트웨이와 워커 아키텍처 설계. 인메모리 큐와 동적 배처로 GPU 활용을 최적화한다. 토큰 스트리밍으로 Time-To-First-Token을 줄이는 방식을 제시한다.

LLM 추론 지연을 줄이는 7가지 방법

원리 기반 LLM 추론 성능 모델링