이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
GPU 중심으로 전환된 AI 워크로드를 위해 NeoCloud는 H100 기반 GPU를 MIG로 하드웨어 수준에서 분할해 인스턴스별 자원 격리를 보장하고, RDMA로 GPU 메모리 간 직접 전송을 수행해 분산 학습의 통신 지연을 마이크로초 단위로 낮춘다. 이러한 소프트웨어적 자원 추상화는 수백·수천 GPU를 하나의 클러스터처럼 운영할 수 있게 하지만, 랙당 전력 수요가 40kW에서 80kW까지 치솟는 물리적 제약을 불러오며 이를 해결하기 위해 버스웨이 기반 전력 공급, HVDC로의 변환 최소화로 약 10% 전력 효율 개선, 액체냉각(DLC)로 입구 18°C·배출 32°C의 냉각수 흐름을 통한 80kW 열 처리를 병행한다. 결과적으로 소프트웨어 정의 GPU 자원 관리와 전력·냉각 설계의 동시 최적화가 고밀도 AI 운영을 가능하게 하나 전력 인프라 투자와 열관리 기술의 도입이라는 트레이드오프가 남는다.
섹션별 상세
GPU 중심의 가속 컴퓨팅 전환은 서버의 물리적 요구를 근본적으로 바꾸었으며, 이를 해결하기 위해 NeoCloud는 GPU 자원을 소프트웨어로 세밀하게 조각하고 연결하는 방식을 적용했다. NeoCloud는 엔비디아 H100과 같은 고성능 GPU에서 MIG를 활용해 메모리 컨트롤러와 연산 유닛(SM)을 하드웨어 수준에서 파티셔닝하여 여러 독립 인스턴스로 분할한다. 이 구조는 같은 물리 GPU 위의 다른 인스턴스가 연산을 수행하더라도 성능 간섭이 발생하지 않는 자원 격리를 보장하며, 대규모 분산 학습에서는 RDMA를 통해 GPU 메모리에서 다른 서버의 GPU 메모리로 직접 전송해 커널 경유를 회피함으로써 네트워크 지연을 마이크로초 단위로 줄인다. 이러한 조합은 수백에서 수천 대의 GPU를 하나의 클러스터처럼 동기화된 상태로 운용할 수 있게 하며 자원 활용률과 예측 가능한 성능을 함께 확보한다.
근거
- MIG는 GPU 내부의 메모리 컨트롤러와 연산 코어를 하드웨어 수준에서 파티셔닝해 인스턴스 간 자원 간섭 없이 독립 성능을 보장한다. — 본문 2.1 GPU 가상화의 핵심: MIG(Multi-Instance GPU)와 시분할 기술 단락
데이터센터 수준에서는 NeoCloud의 소프트웨어적 혁신을 수용하기 위한 전력과 냉각 설계의 변화가 필수적이며, 기존 랙 설계 한계를 넘는 전력 밀도와 열제거 성능이 요구된다. 문서에는 기존 데이터센터의 랙당 상한선이 5~10kW였던 반면, 최신 AI 서버를 8대만 장착해도 한 랙 전력 수요가 40kW에서 80kW까지 치솟는 사례가 제시되었고 이를 위해 구리 막대 형태의 버스웨이 전력 공급과 변전 단계 최소화를 통한 HVDC 적용으로 에너지 효율을 약 10% 개선하는 설계가 활용되고 있다. 냉각 측면에서는 공기냉각 대신 액체냉각(DLC)을 채택해 입구 18°C의 냉각수를 공급하고 32°C의 가열된 물을 배출하는 흐름으로 80kW 급 열을 처리하고 PUE 1.1 수준에 접근하는 운영이 가능해진다. 이러한 물리 인프라 설계는 고밀도 배치를 실현하면서 송전 손실과 냉각 비용을 동시에 낮추는 트레이드오프를 해소하는 핵심 요소이다.
근거
- 한 랙에 AI 서버를 8대만 실장해도 전력 수요가 40kW에서 80kW까지 증가하며 이를 감당하기 위해 버스웨이와 HVDC 도입으로 전력 손실을 줄이는 설계가 적용된다. — 본문 3.1 랙당 전력 밀도의 수직 상승 문단
용어 해설
- Multi-Instance GPU(MIG)
- — MIG는 하나의 물리적 GPU를 하드웨어 수준에서 여러 독립 인스턴스로 분할하는 기술로, 메모리 컨트롤러와 스트리밍 멀티프로세서(SM)를 파티셔닝하여 인스턴스 간 자원 간섭을 제거한다. 이 방식은 한 GPU를 다수 사용자가 동시에 쓸 때 발생하는 성능 저하를 방지하고, 자원 활용률을 높이며 짧은 지연과 예측 가능한 성능을 제공한다.
- 원격 직접 메모리 접근(RDMA)
- — RDMA는 운영체제와 CPU 개입 없이 한 노드의 메모리에서 다른 노드의 메모리로 직접 데이터 전송을 수행하는 기술로, 커널 우회를 통해 전송 지연을 마이크로초 수준으로 낮춘다. 대규모 분산 학습에서 GPU 간 통신 병목을 줄여 수천 대 규모의 GPU 클러스터를 효과적으로 묶는 핵심 네트워크 기술이다.
- 고전압 직류전력(HVDC)
- — HVDC는 변전소에서 유입되는 전력을 높은 전압의 직류로 처리해 송전 손실을 줄이고 전력 변환 단계를 줄이는 전력 인프라 방식으로, 데이터센터 전력 효율을 개선하여 전체 에너지 손실을 낮추는 역할을 한다. 본문에서는 전력 효율을 약 10% 이상 개선하는 설계 요소로 언급되었다.
- 버스웨이 전력공급 시스템(Busway System)
- — 버스웨이는 구리 막대 형태의 전력 공급 장치로서 고전류를 안전하게 전달하고 전선 기반 시스템보다 전력 손실을 줄이는 설계 방식이다. 고밀도 랙에서 랙당 수십 kW 전력을 안정적으로 공급하기 위해 사용되며 설치와 유지에서 공간 효율과 안전성을 모두 제공한다.
- 액체 냉각(Liquid Cooling)
- — 액체 냉각은 공기 대신 냉각수를 GPU와 직접 접촉하거나 열교환을 통해 사용해 높은 열부하를 효율적으로 제거하는 방식으로, 랙당 40~80kW 수준의 열을 소화할 수 있어 고밀도 AI 서버 운용에 적합하다. 본문에서는 입구 18°C 냉각수와 배출 32°C 온수의 흐름으로 열을 관리하는 구성으로 표현되었다.
기술
- H100
- MIG
- RDMA
- HVDC
- DLC
활용 사례
- 대규모 분산 학습을 위한 GPU 자원 풀링과 세분화된 할당에 사용된다.
- GPUaaS 형태로 사용자 맞춤 리소스 할당과 고밀도 데이터센터 운영을 결합한 서비스 모델에 적용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 28.수집 2026. 07. 28.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.