ZCube: LLM 추론을 위한 새로운 네트워크 토폴로지

섹션별 상세

기존 ROFT 토폴로지는 Prefill-Decode 분리 추론 시 비대칭적인 KV Cache 전송으로 인해 특정 Leaf 스위치에 트래픽이 집중되는 문제가 발생한다. 이로 인해 PFC(Priority Flow Control) 백프레셔가 걸리며 대역폭 효율이 저하된다.

ZCube는 스파인 레이어를 완전히 제거하고 두 스위치 그룹 간 완전 이분 그래프(complete bipartite) 연결을 사용하여 네트워크를 재설계했다. 모든 GPU 쌍이 고유한 최적 경로를 가지게 되어, 라우팅 알고리즘에 의존하지 않고 토폴로지 자체에서 부하 분산이 이루어진다.

기존 ROFT 아키텍처와 새로운 ZCube 아키텍처의 네트워크 토폴로지 비교 다이어그램. — Diagram상단 ROFT 구조는 스파인 스위치를 거치는 과정에서 특정 링크에 트래픽이 충돌하는 병목 지점을 보여준다. 하단 ZCube 구조는 스파인 레이어를 제거하고 스위치 그룹 간 직접 연결을 통해 경로를 최적화하여 네트워크 효율을 개선했음을 시각적으로 나타낸다.

실제 1,000개 GPU 클러스터에서 GLM-5.1 모델로 테스트한 결과, 처리량은 15% 증가하고 P99 첫 토큰 지연 시간은 40% 감소했다. 또한 스위치와 광 모듈 비용을 33% 절감하여 성능 향상과 비용 절감을 동시에 달성했다.

ZCube: LLM 추론을 위한 새로운 네트워크 토폴로지

섹션별 상세

관련 토론

댓글

관련 기사

LLM 추론을 나누면 GPU 효율이 달라진다

하드웨어 친화적 LLM 설계를 위한 모델-하드웨어 공동 설계

관련 토론

댓글

관련 기사

LLM 추론을 나누면 GPU 효율이 달라진다

하드웨어 친화적 LLM 설계를 위한 모델-하드웨어 공동 설계