이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
AI agents와 trillion-parameter workloads가 확산되면서 연산 성능뿐 아니라 메모리, 네트워킹, 스토리지, 소프트웨어를 하나로 묶는 AI infrastructure 설계가 중요해지고 있습니다. NVIDIA는 NVLink Fusion에 NVHBM을 추가해 memory controller를 XPU 다이에서 3D HBM stack의 HBM base die로 옮겼고, standard HBM4E 대비 최대 30% 높은 메모리 대역폭과 15% 낮은 HBM 전력 소비, 최대 25% 넓은 XPU compute die 면적을 제시했습니다. 여러 memory provider가 공급할 표준 구현으로 통합·검증 부담을 줄이며, Amazon의 Annapurna Labs는 NVHBM과 NVLink scale-up architecture를 함께 개발하고 Trainium4부터 NVLink Fusion을 지원할 예정입니다. 이 구조는 custom XPU와 CPU를 NVIDIA rack-scale platform에 연결해 semi-custom AI infrastructure를 더 빠르게 배포하려는 경로입니다.
섹션별 상세
AI agents와 trillion-parameter workloads가 확산되면서 AI 인프라의 성능은 연산량만이 아니라 compute, memory, storage, networking, software를 하나의 시스템으로 설계하는 방식에 좌우됩니다. NVIDIA는 hyperscalers와 AI innovators가 semi-custom AI infrastructure를 구축하도록 NVIDIA NVLink Fusion을 NVHBM으로 확장했습니다. 이 변화의 초점은 맞춤형 AI 칩이 대규모 시스템에서 메모리와 연결 구조를 함께 활용하도록 만드는 데 있습니다.
기존 HBM 구조는 메모리 컨트롤러를 XPU 다이에 배치해 연산에 사용할 수 있는 실리콘 면적을 소모합니다. NVHBM은 NVIDIA의 미래 GPU에 적용할 기술을 기반으로 custom memory controller를 3D HBM stack 내부의 HBM base die에 통합해 XPU에서 컨트롤러를 분리합니다. 그 결과 standard HBM4E 대비 메모리 대역폭은 최대 30% 높아지고 HBM 전력 소비는 15% 낮아지며 XPU compute die 면적은 최대 25% 더 확보됩니다.
근거
- NVHBM은 standard HBM4E 대비 최대 30% 더 높은 메모리 대역폭, 15% 낮은 HBM 전력 소비, 최대 25% 더 넓은 XPU compute die 면적을 제공합니다. — NVHBM의 메모리 컨트롤러 통합 방식과 HBM4E 비교 수치를 설명한 기술 문단
- NVHBM은 메모리 컨트롤러를 XPU 다이가 아니라 3D HBM stack의 HBM base die에 통합합니다. — Traditional HBM architectures와 NVHBM 구조를 비교한 문단
NVIDIA는 여러 memory provider가 공급할 수 있는 표준 NVHBM 구현을 마련하고, leading memory partners를 통해 이를 검증하고 제공할 계획입니다. 동일한 구현을 여러 공급업체에 적용하면 고객이 메모리를 공급업체별로 통합하고 검증하는 engineering effort를 줄일 수 있습니다. 따라서 NVLink Fusion 고객은 custom AI chips를 시장에 내놓기까지 필요한 설계와 qualification 절차를 단축할 수 있습니다.
근거
- NVIDIA는 여러 memory provider가 공급할 수 있는 표준 NVHBM 구현을 수립합니다. — 표준 구현과 공급업체 다변화가 engineering effort를 줄인다는 문단
Amazon의 Annapurna Labs는 AWS와 NVIDIA의 NVLink Fusion 협력 범위 안에서 NVHBM과 NVLink scale-up architecture를 함께 개발하는 첫 파트너가 됩니다. AWS는 이전에 NVLink Fusion 지원을 발표했으며, Annapurna Labs는 Trainium4부터 차세대 Trainium chips에 NVLink Fusion을 지원할 예정입니다. 이 구성을 통해 Amazon chips와 NVIDIA GPUs가 common rack-scale architecture에서 함께 작동하는 경로가 마련됩니다.
근거
- Amazon의 Annapurna Labs는 NVHBM과 NVLink scale-up architecture를 NVIDIA와 협력하는 첫 파트너입니다. — Amazon’s Annapurna Labs will be the first to work on NVHBM으로 시작하는 협력 문단
- Annapurna Labs는 Trainium4부터 차세대 Trainium chips에 NVLink Fusion을 지원할 예정입니다. — AWS and NVIDIA Continue NVLink Fusion Collaboration 아래의 Trainium 협력 문단
NVLink Fusion은 custom XPUs와 CPUs를 NVIDIA rack-scale platform에 연결하면서 파트너가 XPU 혁신에 집중하도록 주변 기술 스택을 제공합니다. 파트너는 NVLink chiplets, NVLink-C2C, NVLink Switches, NVIDIA MGX systems and racks와 CPU partners, ASIC designers, system manufacturers, technology providers로 구성된 생태계를 활용할 수 있습니다. NVIDIA는 이를 통해 scale-up·scale-out networking, rack-scale systems, software를 처음부터 개발하는 부담과 배포 위험을 낮추는 semi-custom AI infrastructure 경로를 제시합니다.
근거
- NVLink Fusion은 NVLink chiplets, NVLink-C2C, NVLink Switches, NVIDIA MGX systems and racks를 통해 custom XPUs와 CPUs를 NVIDIA rack-scale platform에 연결합니다. — Vertically Integrated and Horizontally Open 절의 파트너 접근 구성 요소 목록
용어 해설
- XPU
- — XPU는 GPU와 같은 특정 연산 프로세서를 포괄하는 표현으로, 이 기사에서는 NVIDIA의 rack-scale 플랫폼에 연결되는 맞춤형 가속기를 뜻합니다. NVLink Fusion은 이런 XPU와 CPU를 NVIDIA의 연결·시스템 구성 요소에 통합합니다.
- 고대역폭 메모리(HBM)
- — HBM은 여러 메모리 다이를 수직으로 쌓아 프로세서에 높은 메모리 대역폭을 제공하는 메모리 구조입니다. 기존 방식에서는 메모리 컨트롤러를 XPU 다이에 배치하지만, NVHBM은 이를 HBM base die로 옮깁니다.
- HBM4E
- — HBM4E는 NVHBM의 성능과 전력, XPU 다이 면적을 비교하는 기준으로 기사에 등장한 표준 HBM 세대입니다. NVHBM은 HBM4E 대비 메모리 대역폭과 전력 효율, 연산 다이의 가용 면적에서 개선 수치를 제시합니다.
- NVLink 칩릿(NVLink chiplets)
- — NVLink chiplets는 맞춤형 XPU와 NVIDIA rack-scale 플랫폼을 연결하기 위해 파트너가 사용할 수 있는 연결 구성 요소입니다. NVLink Fusion은 여기에 NVLink-C2C, NVLink Switches, NVIDIA MGX 시스템과 랙을 함께 제공합니다.
기술
- NVIDIA NVLink Fusion
- NVIDIA NVHBM
- HBM4E
- NVLink chiplets
- NVLink-C2C
- NVLink Switches
- NVIDIA MGX systems and racks
- Trainium4
활용 사례
- hyperscaler용 semi-custom AI infrastructure
- trillion-parameter workloads
- AI agents용 대규모 추론 및 학습 인프라
- Amazon chips와 NVIDIA GPUs의 common rack-scale architecture 통합
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 27.수집 2026. 08. 27.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
