이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
에이전트가 추론 과정에서 도구를 호출하고 여러 단계를 이어가면서 생성 토큰이 늘어나자, 추론 성능의 중심 병목이 peak compute에서 memory-bound decode로 이동하고 있다. SambaNova가 분석한 6개 frontier-model 구성에서는 decode가 전체 model-inference time의 75%에서 97%를 차지했으며, Model Bandwidth Utilization(MBU)은 설치된 메모리 대역폭 중 모델 가중치와 KV cache 이동에 실제 사용되는 비율을 나타낸다. SN50 RDU는 432 MB distributed on-chip SRAM, dataflow 실행, persistent decoder, operator fusion, double buffering으로 데이터 이동과 연산을 겹치고, 800G Ethernet scale-up과 400G RoCEv2 scale-out으로 여러 칩 사이의 통신을 연결한다. SambaNova의 모델링에서는 DeepSeek-R1을 64개에서 256개 SN50 RDU로 확장할 때 사용자별 속도가 200에서 500 tokens per second로 증가하는 동안 MBU가 51%, 44%, 45%로 유지됐다.
섹션별 상세
에이전트는 한 번의 답변으로 끝나지 않고 추론, 도구 호출, 후속 작업을 반복하므로 생성 토큰과 decode 시간이 함께 늘어난다. SambaNova가 분석한 6개 frontier-model 구성에서 decode는 model-inference time의 75%에서 97%를 차지했고, DeepSeek-V3의 8K input·1K output·B300 FP4·단일 요청 구성에서는 97%에 달했다. 따라서 peak compute가 아니라 가중치와 KV cache를 얼마나 지속적으로 이동시키는지가 사용자가 체감하는 token speed를 좌우한다.
Model Bandwidth Utilization은 peak HBM bandwidth와 실제 모델 데이터 이동 사이의 간극을 측정한다. 설치된 bandwidth에 MBU를 곱하면 가중치와 KV cache에 전달되는 effective model bandwidth를 구할 수 있고, 이 값이 bandwidth-bound decode의 tokens per second와 연결된다. 가속기를 추가해도 동기화, 메모리 이동, 통신 오버헤드로 MBU가 낮아지면 사용자별 속도가 함께 증가하지 않으므로, 목표는 단순한 bandwidth 증설이 아니라 모델이 실제로 사용하는 bandwidth의 유지다.
SN50 RDU는 별도의 kernel을 순차적으로 실행하는 대신 compiler가 compute와 memory unit으로 구성된 tiled mesh에 모델을 배치하는 dataflow execution model을 사용한다. 432 MB distributed on-chip SRAM은 자주 쓰는 데이터를 연산부 가까이에 두고, persistent decoder execution·operator fusion·double-buffered memory unit은 다음 model tile을 옮기는 동안 현재 연산을 진행하게 한다. Collective communication이 SRAM에서 끝날 수 있어 HBM 왕복을 줄이며, 연산·메모리 접근·통신의 중첩이 MBU를 높이는 실행 경로를 만든다.
여러 RDU에 모델을 배치하면 네트워크가 실행 pipeline의 일부가 되므로 scale-up과 scale-out을 분리한 구조가 필요하다. 8-socket node 안에서는 7개의 통합 800G Ethernet link가 fully connected topology를 만들고, RDU마다 2개의 추가 800G port가 inter-node scale-up fabric에 연결되며, 400G RoCEv2 NIC는 scale-up domain 사이의 KV-cache transfer와 disaggregated inference를 담당한다. SN50은 RDU당 10개의 800G Ethernet port와 aggregate 2 TB/s를 제공하며, 서로 다른 통신 패턴을 계층별로 나눠 tightly coupled model parallelism과 대규모 도메인 연결을 처리한다.
Tensor Parallelism과 Expert Parallelism은 데이터 흐름이 달라 네트워크 동작도 달라야 한다. Tensor Parallelism은 reduce-scatter, all-gather, all-reduce 같은 collective가 행렬 계산을 따라가야 하며, SN50 on-silicon tensor-parallel GEMM benchmark는 8·16·32 sockets에서 최소 70% TFLOPs utilization을 기록하고 32 sockets에서 연산과 통신의 full overlap을 기록했다. Expert Parallelism은 토큰마다 다른 expert로 이동하는 동적 dispatch와 combine을 만들며, 64-socket 구성에서는 expert loading에 bandwidth의 70% 이상이 사용됐고 all-to-all과 broadcast-and-filter 방식이 각각 비균일 트래픽과 추가 전송량 사이의 선택지를 제공한다.
DeepSeek-R1 8K-input·1K-output 구성의 모델링에서는 SN50 RDU 수를 64·128·256개로 늘릴 때 사용자별 속도가 200·300·500 tokens per second로 상승했고 MBU는 각각 51%·44%·45%였다. 이 수치는 실서비스 측정값이 아니라 modeled operating points이므로 workload에 따라 달라질 수 있지만, 칩 수를 늘리면서 유효 bandwidth를 일정 수준 유지하는 설계 목표를 나타낸다. 별도의 benchmark에서는 4개의 NVIDIA H200이 prefill을, 16개의 SN50 RDU가 decode를 맡은 이기종 구성으로 MiniMax M2.7에서 10,000 input tokens 기준 763 output tokens per second가 Artificial Analysis benchmark에 기록됐다.
용어 해설
- 모델 대역폭 활용률(Model Bandwidth Utilization)
- — Model Bandwidth Utilization은 시스템의 최대 메모리 대역폭 중 모델 가중치와 KV cache를 실제 토큰 생성에 사용한 비율이다. 설치된 대역폭에 MBU를 곱하면 모델이 활용하는 유효 대역폭을 계산할 수 있어, 이론적 메모리 성능과 실제 tokens per second 사이를 연결한다.
- Decode
- — Decode는 입력을 처리한 뒤 모델이 토큰을 하나씩 생성하는 추론 단계다. 각 토큰 생성 과정에서 모델 가중치와 KV cache를 메모리에서 반복적으로 읽기 때문에 연산 성능보다 메모리 대역폭과 데이터 이동 효율의 영향을 크게 받는다.
- KV Cache
- — KV cache는 Transformer가 이전 토큰의 key와 value를 저장해 긴 문맥을 매번 다시 계산하지 않도록 하는 메모리 구조다. 에이전트 추론에서는 생성 토큰과 대화 문맥이 늘면서 KV cache 이동량이 커져 메모리 대역폭과 네트워크 설계의 주요 대상이 된다.
- Tensor Parallelism
- — Tensor Parallelism은 하나의 대형 텐서 연산을 여러 RDU에 나누고 reduce-scatter, all-gather, all-reduce 같은 collective 통신으로 결과를 결합하는 방식이다. 행렬 계산과 통신을 동시에 진행하려면 scale-up fabric이 반복적인 데이터 교환을 따라가야 한다.
- Expert Parallelism
- — Expert Parallelism은 Mixture-of-Experts 모델에서 토큰별로 선택된 expert에 입력을 분산하고 결과를 다시 결합하는 방식이다. 배치마다 목적지가 달라지는 동적 트래픽이 발생하므로 all-to-all과 broadcast-and-filter처럼 서로 다른 통신 전략이 필요하다.
기술
- SN50 RDU
- Dataflow Architecture
- Model Bandwidth Utilization
- distributed on-chip SRAM
- 800G Ethernet
- 400G RoCEv2 NIC
- Tensor Parallelism
- Expert Parallelism
- NVIDIA H200
- MiniMax M2.7
- DeepSeek-R1
- DeepSeek-V3
- B300 FP4
활용 사례
- 에이전트 추론
- 도구 호출과 장기 작업을 수행하는 AI 시스템
- Prefill과 decode를 분리한 이기종 추론
- 대규모 Dense frontier model 추론
- Mixture-of-Experts 모델의 Expert Parallelism
- KV-cache transfer를 활용한 disaggregated inference
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 09. 03.수집 2026. 09. 03.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
