이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
LLM 추론은 전체 요청의 평균 처리량만 비교하기보다 Prefill과 Decode를 분리하고, 각 단계의 연산·메모리·통신 병목을 마이크로 벤치마크로 격리해야 합니다. Prefill은 높은 FLOPs를 요구하는 compute-bound 단계이고 Decode는 KV cache 접근 때문에 memory-bound 단계이며, A100에서 90% FLOPs 활용률을 보인 커널도 H100에서는 30%로 낮아질 수 있습니다. 대형 모델의 Tensor Parallelism과 Expert Parallelism은 all_reduce와 all_all 통신에 의존하므로 GPU 내부 연결과 RDMA의 메시지 크기별 지연 및 대역폭을 함께 측정해야 합니다. 최종 운영점은 처리량과 E2E 지연 시간의 Pareto Frontier를 만든 뒤 품질·비용·정밀도와 전력·열 제약까지 포함해 선택해야 하며, 최고 처리량이 항상 최선의 설정은 아닙니다.
섹션별 상세
LLM 추론 성능은 단일 처리량 수치보다 품질·비용, Context Window·Throughput, 전력·열·성능 사이의 경계선을 함께 놓고 판단해야 합니다. 예를 들어 Qwen3-235B를 하나의 TP8 그룹으로 실행할지 두 개의 TP4 그룹으로 나눌지는 요청 밀도와 E2E 지연 시간의 조합에 따라 달라집니다. character.ai와의 작업에서는 분산 병렬화 전략을 조정해 비슷한 E2E 지연 시간에서 더 많은 요청을 수용하는 방향으로 성능 경계선을 높였습니다.
근거
- Prefill은 compute-bound이고 Decode는 memory-bound인 서로 다른 병목을 갖습니다. — 본문의 Prefill과 Decode 설명 및 제공된 Prefill/Decode 구조도에서 Prefill의 High FLOPs와 Decode의 High Memory Bandwidth가 구분됩니다.
- character.ai와의 작업에서 분산 병렬화 전략을 최적화해 비슷한 E2E 지연 시간에서 더 많은 요청 처리량을 확보했습니다. — 서론에서 character.ai 사례와 frontier를 위로 밀었다는 설명이 나옵니다.
Prefill과 Decode는 병목이 달라 전체 시스템 수치만으로는 원인을 찾기 어렵습니다. Prefill은 입력 토큰 묶음을 처리하면서 높은 FLOPs를 사용해 compute-bound가 되고, Decode는 매 토큰 생성마다 KV cache를 읽으면서 메모리 대역폭에 묶입니다. 따라서 TTFT가 예상보다 3배 느리거나 TPOT가 낮을 때는 메모리 대역폭, 연산 커널, Attention 커널, GPU 간 통신을 각각 분리해 측정해야 합니다.
근거
- A100에서 90% FLOPs 활용률을 내던 커널이 H100에서는 30%로 떨어질 수 있습니다. — 본문의 Compute 및 Attention Kernels 단락에 A100과 H100의 커널 활용률 예시가 직접 제시됩니다.
메모리 대역폭 벤치마크는 Decode 단계의 TPOT 저하가 HBM이나 SRAM 대역폭 부족 때문인지 확인하는 데 쓰입니다. GEMM과 Flash Attention, MHA, MLA 같은 커널은 GPU 세대가 바뀔 때마다 다시 측정해야 하며, A100에서 90% FLOPs 활용률을 내던 커널이 H100에서는 30%로 떨어질 수 있습니다. GPU 세대가 바뀌면 FLOPs가 HBM 대역폭보다 빠르게 증가해 compute-bound 커널이 memory-bound로 바뀔 수 있으므로 커널 재조정이 필요합니다.
근거
- Prefill은 32 MB에서 1 GB 이상인 큰 메시지를, Decode는 32 KB에서 1 MB인 작은 메시지를 interconnect로 전달합니다. — 본문의 Collectives 단락에 Prefill과 Decode의 메시지 크기 범위가 제시됩니다.
- NIC와 GPU 간 최고 대역폭은 Speed of Light Frontier를 이루지만 통신 알고리즘 오버헤드로 실제 성능은 최고 대역폭에 미치지 못합니다. — Collectives 단락의 NIC, GPU-to-GPU peak bandwidth 및 algorithm overhead 설명을 근거로 삼을 수 있습니다.
대형 모델은 Tensor Parallelism, Pipeline Parallelism, Expert Parallelism으로 여러 GPU에 분산되며, 이 과정에서 all_reduce와 all_all 같은 collective 통신을 사용합니다. Prefill은 32 MB에서 1 GB 이상인 큰 메시지를 interconnect로 밀어 넣는 반면 Decode는 32 KB에서 1 MB 수준의 작은 메시지에 더 민감하므로 메시지 크기별 측정이 필요합니다. 단일 서버의 GPU 간 연결과 RDMA 네트워크가 제공하는 이론상 최고 속도를 기준선으로 삼되, 통신 알고리즘 오버헤드 때문에 실제 속도가 최고 대역폭에 도달하지 않는 점도 반영해야 합니다.
근거
- 추론 운영에서는 Quality·Cost·Precision과 Power/Thermal·Performance 사이의 추가 경계선을 고려해야 합니다. — Measure What Matters 단락에서 기본 Pareto Frontier 이후 추가해야 할 운영 경계선이 열거됩니다.
추론 최적화의 출발점은 FLOPs, 메모리 대역폭 활용률, 효율, 경합을 처리량·동시성 표면에 매핑해 기본 Pareto Frontier를 만드는 일입니다. 운영 규모가 커지면 모델 양자화에 따른 정확도 변화와 단위 비용을 함께 보는 Quality·Cost·Precision 경계선, 전력과 열 제약을 성능과 비교하는 경계선까지 추가해야 합니다. Attention 메커니즘과 Expert routing 같은 모델 구조를 GPU의 하드웨어 primitive에 맞춰 배치해야 성능과 비용 사이의 실제 운영 지점을 선택할 수 있습니다.
용어 해설
- Prefill과 Decode(Prefill and Decode)
- — LLM 추론을 입력 토큰 전체를 한꺼번에 처리하는 Prefill 단계와 다음 토큰을 순차적으로 생성하는 Decode 단계로 나누는 구조입니다. Prefill은 연산량이 커서 compute-bound이고, Decode는 매 단계에서 KV cache를 읽는 비용이 커 memory-bound가 됩니다. 두 단계의 병목이 달라 분리된 성능 측정과 하드웨어 배치가 필요합니다.
- Time to First Token
- — 사용자 요청이 들어온 뒤 첫 번째 출력 토큰이 생성될 때까지 걸리는 시간입니다. 입력 프롬프트를 처리하는 Prefill 지연과 큐 대기, 통신 비용 등이 함께 반영되므로 사용자 체감 반응성을 평가하는 핵심 지표가 됩니다. 이후 토큰 생성 속도인 TPOT와 구분해 측정해야 병목 원인을 분리할 수 있습니다.
- Tensor Parallelism
- — 하나의 모델 연산을 여러 GPU에 나누어 실행하는 병렬화 방식입니다. 각 GPU가 가중치나 활성값의 일부를 처리한 뒤 all_reduce 같은 집단 통신으로 결과를 합치므로 GPU 간 연결 대역폭과 지연 시간이 성능을 좌우합니다. 대형 모델을 단일 GPU 메모리에 넣기 어려울 때 활용됩니다.
- RDMA
- — CPU 개입을 최소화한 채 네트워크를 통해 GPU 메모리나 텐서를 직접 주고받는 통신 방식입니다. 여러 서버에 분산된 GPU 사이에서 대형 모델의 활성값과 KV cache를 이동시키며, Prefill에서는 큰 메시지, Decode에서는 작은 메시지가 주로 전달됩니다. 실제 성능은 링크의 이론 대역폭뿐 아니라 통신 알고리즘 오버헤드에도 영향을 받습니다.
- Pareto Frontier
- — 한 성능 지표를 개선할 때 다른 지표를 더 희생하지 않고는 넘어설 수 없는 최적 조합의 경계입니다. 이 글에서는 E2E 지연 시간과 요청 처리량을 함께 놓고, 같은 지연 시간에서 더 많은 요청을 처리하거나 같은 처리량에서 더 낮은 지연을 내는 설정을 경계선에 배치합니다. 운영 환경의 최적 지점을 고르는 기준으로 쓰입니다.
기술
- Qwen3-235B
- character.ai
- HBM
- SRAM
- GEMM
- Flash Attention
- MHA
- MLA
- A100
- H100
- Tensor Parallelism
- Pipeline Parallelism
- Expert Parallelism
- NCCL
- RCCL
- NVLink
- AMD Infinity Fabric
- RDMA
- Kubernetes
활용 사례
- 대규모 LLM 서빙의 처리량과 지연 시간 최적화
- 여러 GPU와 서버에 걸친 모델 병렬화
- GPU 세대별 Attention 및 GEMM 커널 튜닝
- KV cache와 GPU interconnect 성능 측정
- 양자화 정확도와 추론 비용의 균형점 선택
- 전력·열 제약을 반영한 운영 설정 선정
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 15.수집 2026. 08. 15.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
