이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
AI 공장은 가속기 성능만으로 결정되지 않고 네트워크, 랙, 냉각, 전력, 소프트웨어, 공급망을 결합한 전체 시스템의 토큰 처리량과 운영 비용으로 평가됩니다. NVLink Fusion은 맞춤형 XPU를 NVIDIA NVLink Scale-Up 인프라에 연결해 72개 XPU 영역에서 상용 Ethernet 기반 대안보다 XPU 간 전송 지연을 3배 낮추고 패킷 속도를 10배 높이는 구조를 제공합니다. NVLink-C2C는 XPU와 CPU 사이의 연결에서 PCIe보다 최대 6배 높은 에너지 효율을 내며, NVIDIA MGX와 DSX 기반 랙 설계는 XPU와 GPU 시스템이 냉각·전력·네트워크를 공유하도록 지원합니다. 그 결과 운영자는 최종 실리콘 조합을 늦게 확정하면서도 AI 공장 구축을 진행하고, NCCL·Dynamo·NIXL·Mission Control을 이용해 혼합 인프라를 하나의 시스템으로 관리할 수 있습니다.
섹션별 상세
대규모 AI 공장은 가속기 몇 개를 조립하는 수준이 아니라 토큰 처리량, 전력당 토큰, 토큰당 비용, 활용률, 가동 시간을 기준으로 계속 운영되는 전체 생산 시스템에 가깝습니다. 맞춤형 XPU를 개발하는 기업은 프로세서 설계뿐 아니라 Scale-Up·Scale-Out 네트워크, 랙 구조, 생산 소프트웨어, 공급망까지 직접 구성해야 하므로 시장 출시가 늦어지고 구축 위험이 커집니다. NVLink Fusion은 맞춤형 XPU를 NVIDIA의 검증된 AI 인프라에 연결해 XPU 자체의 차별화에 집중하면서 나머지 플랫폼 구축 부담을 줄이는 접근입니다.
근거
- NVLink Fusion은 맞춤형 XPU를 NVIDIA의 Scale-Up 인프라에 연결해 semi-custom AI factory의 성능과 출시 속도를 높이고 구축 위험을 줄입니다. — 기사 도입부의 NVLink Fusion 설명 문단
대규모 모델, Mixture-of-Experts, Agentic AI에서는 XPU 사이의 Scale-Up 패브릭이 병목이 되면 장치 활용률이 낮아지고 토큰당 비용이 올라갑니다. NVLink Fusion은 XPU를 NVIDIA NVLink Scale-Up 영역에 편입하며, 6세대 NVLink는 72개 XPU 영역에서 높은 대역폭과 낮은 지연의 통신을 제공합니다. 기사에 따르면 XPU 간 전송 지연은 상용 Ethernet 기반 대안보다 3배 낮고 패킷 속도는 10배 높아, 통신이 연산 처리량을 제한하는 상황을 완화합니다.
근거
- 6세대 NVLink는 72개 XPU 영역에서 XPU 간 전송 지연을 상용 Ethernet 기반 대안보다 3배 낮추고 패킷 속도를 10배 높입니다. — Unlock XPU Performance With Fast Scale-Up 섹션의 6세대 NVLink 성능 수치
GB300 NVL72는 72개 GPU로 구성된 NVLink Scale-Up 영역을 활용해 NVIDIA B300보다 GPU당 처리량과 상호작용성을 높입니다. NVIDIA의 AI Inference Performance Benchmarks 페이지를 바탕으로 한 그래프에서는 DeepSeek-V4-Pro 추론 조건에서 GB300 NVL72가 B300보다 중간 Pareto 구간인 사용자당 초당 70~100토큰에서 10배 넘는 GPU당 처리량을 보입니다. 향후 NVLink 로드맵에는 최대 1,152개 가속기 영역과 Co-Packaged Optics가 포함됩니다.
근거
- GB300 NVL72는 DeepSeek-V4-Pro 추론의 중간 Pareto 구간에서 B300보다 10배 넘는 GPU당 처리량을 보입니다. — 제공된 이미지 1의 그래프 ALT와 본문 중 NVIDIA AI Inference Performance Benchmarks 언급 출처
NVLink Fusion은 NVLink-C2C를 통해 XPU를 NVIDIA Vera CPU 또는 다른 생태계 CPU와 연결하고, PCIe보다 최대 6배 높은 에너지 효율을 제공합니다. 이 연결은 Agentic AI 시스템에서 제어 작업을 맡는 CPU와 실제 모델 계산을 수행하는 XPU 사이의 데이터 이동 부담을 줄이는 방식으로 작동합니다. 또한 맞춤형 XPU 플랫폼은 CPU·Scale-Up 인터페이스 통합, 트레이와 랙 설계, 냉각·전력·보안·스토리지·공급망 검증까지 함께 해결해야 하므로 표준화된 연결 계층의 의미가 커집니다.
근거
- NVLink-C2C는 PCIe 인터페이스보다 최대 6배 높은 에너지 효율로 XPU와 CPU를 연결합니다. — NVLink-C2C 설명 문단의 에너지 효율 수치
AI 공장 구축은 최종 가속기 조합이 확정되기 전부터 전력 조달, 시설 설계, 냉각, 랙 배치, 네트워크 구성을 시작해야 합니다. NVLink Fusion은 XPU 기반 시스템과 Vera Rubin NVL72 같은 GPU 기반 시스템이 랙 공간, 네트워크, 냉각, 전력 공급, 관리 시스템을 공유하도록 해 운영자가 실리콘 조합을 나중에 결정하고 수요와 공급 변화에 맞춰 용량을 재배치할 수 있게 합니다. NVIDIA MGX 랙 스케일 아키텍처와 관련 공급망을 활용하면 제조 파트너가 랙·냉각·전력·800 VDC 설계의 구성요소를 제공하고 기존 생산 자동화 투자도 이어갈 수 있습니다.
근거
- XPU와 GPU 시스템은 NVLink Fusion을 통해 랙 공간, 네트워크, 냉각, 전력 공급, 관리 시스템을 공유할 수 있습니다. — Managing Risk With Infrastructure Standardization 섹션의 unified architecture 설명
NVLink Fusion은 NVIDIA DSX 레퍼런스 아키텍처와 Omniverse DSX AI Factory Blueprint를 통해 건물, 전력, 냉각, 컴퓨트, 네트워크를 배포 전에 함께 검증하는 운영 모델과 연결됩니다. 컴퓨트 트레이와 NVLink Switch 트레이는 액체 냉각을 사용하며, 일부 트레이를 제거해 서비스하는 동안에도 나머지 랙을 계속 가동하도록 설계됩니다. 소프트웨어 측면에서는 NCCL, Dynamo, NIXL, Mission Control이 분산 작업, disaggregation, 클러스터 관리, 텔레메트리, 디버깅을 맡아 서로 다른 AI 시스템을 하나의 공장처럼 운영하도록 지원합니다.
근거
- NVIDIA DSX와 Omniverse DSX AI Factory Blueprint는 AI 공장의 건물, 전력, 냉각, 컴퓨트, 네트워크를 배포 전에 함께 검증하도록 지원합니다. — Designed, Validated and Operated as a Factory 섹션의 DSX reference architecture 및 digital twin 설명
용어 해설
- Scale-Up 네트워킹(Scale-Up Networking)
- — 여러 XPU나 GPU를 하나의 고속 통신 영역으로 연결하는 네트워킹 방식입니다. 장치 간 데이터 전송 지연과 대역폭이 추론 처리량, GPU 활용률, 토큰당 비용에 직접 영향을 주므로 대규모 모델과 Agentic AI 인프라의 핵심 구성요소로 쓰입니다.
- XPU
- — GPU와 CPU를 포함해 특정 AI 연산에 맞게 설계된 맞춤형 프로세서를 가리키는 용어입니다. XPU 자체의 성능뿐 아니라 메모리 연결, Scale-Up 네트워크, 냉각, 전력, 소프트웨어를 함께 구축해야 실제 데이터센터 배포 성능을 확보할 수 있습니다.
- NVLink-C2C
- — XPU를 NVIDIA Vera CPU나 생태계의 다른 CPU와 연결하는 인터페이스입니다. 기사에서는 PCIe 인터페이스보다 최대 6배 높은 에너지 효율을 제공해 Agentic AI 시스템에서 제어 연산과 계산 연산 사이의 병목을 줄이는 기술로 제시됩니다.
- 랙 스케일 아키텍처(Rack-Scale Architecture)
- — 개별 가속기가 아니라 랙 단위로 컴퓨트 트레이, 스위치, 네트워크, 냉각, 전력, 관리 시스템을 통합하는 설계 방식입니다. 동일한 랙 규격과 운영 인프라를 여러 가속기 유형이 공유하면 실리콘 공급과 수요 변화에 맞춰 용량을 재구성하기 쉬워집니다.
- 디지털 트윈(Digital Twin)
- — 실제 시설과 기술 구성을 가상 환경에 재현해 배포 전에 동작을 검증하는 모델입니다. NVIDIA Omniverse DSX AI Factory Blueprint는 건물, 전력, 냉각, 컴퓨트, 네트워크를 함께 모델링해 대규모 AI 공장 구축 과정의 재작업 위험을 줄이는 데 사용됩니다.
기술
- NVLink Fusion
- Sixth-generation NVLink
- NVLink-C2C
- NVIDIA Vera CPUs
- NVIDIA MGX
- NVIDIA DSX reference architecture
- NVIDIA Omniverse DSX AI Factory Blueprint
- NCCL
- NVIDIA Dynamo
- NIXL
- NVIDIA Mission Control
- Co-Packaged Optics
- 800 VDC
활용 사례
- 맞춤형 XPU를 활용한 semi-custom AI factory 구축
- Trillion-parameter 모델 추론
- Mixture-of-Experts 모델 운영
- Agentic AI 추론과 서비스
- Training, post-training, reasoning, retrieval, serving을 위한 혼합 가속기 인프라
- 랙 단위 냉각·전력·네트워크를 공유하는 데이터센터 구축
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 25.수집 2026. 08. 25.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
