NVIDIA NVLink Domain

여러 GPU를 고속 연결해 GPU 사이의 데이터 교환을 단일 통신 영역처럼 처리하는 시스템 구성입니다. GB300 NVL72는 72개 NVIDIA Blackwell Ultra GPU를 130 TB/s 대역폭의 NVIDIA NVLink 영역으로 연결해 MoE Expert 간 all-to-all 통신 병목을 줄입니다. 대규모 모델 서빙에서는 Expert 요청이 전통적인 네트워크를 통과하는 횟수와 비용을 낮추는 역할을 합니다.