RoundPipe: 소비자용 GPU 서버에서의 효율적인 대규모 언어 모델 학습

데이터센터용 A100 GPU보다 훨씬 저렴한 소비자용 GPU에서 거대 언어 모델을 효율적으로 학습할 수 있는 기술이다. 기존의 하드웨어 병목 현상을 소프트웨어 스케줄링으로 해결하여 중소 규모 연구소나 기업의 AI 연구 진입 장벽을 낮춘다.

기존의 파이프라인 병렬화(Pipeline Parallelism)는 모델의 각 부분을 특정 GPU에 고정(Binding)하여 처리한다. 하지만 언어 모델의 마지막 계층(LM Head)처럼 연산량이 유독 큰 부분이 있으면, 해당 GPU의 처리가 끝날 때까지 다른 GPU들이 놀게 되는 파이프라인 버블(Pipeline Bubble)이 발생한다. 특히 메모리가 부족한 소비자용 GPU에서는 CPU로 데이터를 보냈다가 다시 가져오는 오프로딩(Offloading) 과정에서 이 병목이 더 심해진다.

RoundPipe는 CPU 오프로딩을 역으로 활용한다. 모델의 가중치가 어차피 CPU 메모리에 있고 필요할 때마다 GPU로 전송된다면, 굳이 특정 레이어를 특정 GPU에서만 처리할 필요가 없다는 점에 착안했다. GPU를 단순히 계산만 수행하는 일꾼(Stateless Worker)들의 풀로 보고, 준비된 연산 단계를 비어 있는 GPU에 순차적으로 던져주는 라운드 로빈 방식을 채택했다.

이를 통해 특정 GPU가 무거운 작업을 처리하느라 전체 파이프라인이 멈추는 현상을 방지한다. 결과적으로 하드웨어 간 연결 속도가 느린 PCIe 환경에서도 데이터센터급 GPU에 근접하는 높은 효율로 거대 모델을 학습할 수 있게 된다.

RoundPipe는 CPU 오프로딩 기반의 파이프라인 병렬화 구조를 가진다. 모델 가중치와 옵티마이저 상태는 호스트 RAM에 저장되며, 연산 시점에만 GPU VRAM으로 전송된다. 이때 순전파(Forward)와 역전파(Backward) 단계를 하나의 연속된 시퀀스로 통합하고, 이를 N개의 GPU에 라운드 로빈 방식으로 할당하여 실행한다.

연산 효율을 극대화하기 위해 Asymmetric Stage Splitting을 사용한다. 순전파보다 역전파 연산이 약 3배 더 오래 걸린다는 점을 반영하여, 순전파 단계에는 더 많은 레이어를 배치하고 역전파 단계에는 적은 레이어를 배치한다. [레이어 인덱스 및 연산 타입 입력 → 동적 프로그래밍 기반 분할 알고리즘 연산 → 각 단계별 실행 시간 평준화 결과 출력] 과정을 통해 파이프라인의 시간적 불균형을 제거한다.

데이터 전송 병목을 숨기기 위해 Multi-Stream Architecture를 도입한다. 연산 스트림 외에 4개의 전용 통신 스트림을 운영하여, 현재 연산이 진행되는 동안 다음 마이크로 배치의 데이터를 미리 업로드하거나 이전 결과를 다운로드한다. [텐서 크기 및 우선순위 입력 → Longest-Processing-Time-First 스케줄링 연산 → 통신-연산 오버랩 최적화 결과 출력] 방식으로 PCIe 대역폭 한계를 극복한다.

8대의 RTX 4090 서버 환경에서 실험한 결과, 기존 최신 기술(Mobius 등) 대비 1.48배에서 2.16배의 처리량(Throughput) 향상을 달성했다. 특히 Qwen3-32B 모델 학습 시 기존 시스템은 메모리 부족으로 실패하거나 매우 짧은 시퀀스만 처리 가능했으나, RoundPipe는 훨씬 긴 시퀀스 길이를 안정적으로 지원했다.

가장 주목할 만한 결과는 24GB VRAM을 가진 단일 서버에서 235B 규모의 Mixture-of-Experts(MoE) 모델인 Qwen3-235B를 LoRA 방식으로 파인튜닝하는 데 성공했다는 점이다. 이는 기존의 데이터센터용 A800 솔루션 성능의 약 76% 수준에 도달하는 수치로, 소비자용 하드웨어와 엔터프라이즈 하드웨어 간의 성능 격차를 크게 좁혔음을 입증했다.

RoundPipe의 핵심은 'Weight Binding' 제약을 깨는 것이다. 기존 PP 스케줄은 가중치를 특정 디바이스에 고정하지만, RoundPipe는 가중치를 호스트 메모리에 두고 GPU를 무상태(Stateless) 연산기로 활용한다. 이를 위해 레이어 단위의 세밀한 동기화가 필요한데, 'Distributed Event-Based Protocol'을 통해 메인 스레드의 차단 없이 GPU와 CPU 옵티마이저 워커 간의 데이터 일관성을 보장한다.

아키텍처적으로는 단일 컨트롤러 구조를 채택하여 태스크 스케줄링과 데이터 평면을 분리했다. 컨트롤러는 마이크로 배치를 생성하고 라운드 로빈 순서로 GPU 워커에 디스패치하며, 각 워커는 CUDA 이벤트를 사용하여 데이터 의존성을 관리한다. 또한 O(L^3) 복잡도의 자동 레이어 분할 알고리즘을 통해 수동 튜닝 없이도 최적의 로드 밸런싱을 찾아낸다.

본 논문은 주로 단일 노드 내의 다중 GPU 환경에 집중하고 있으며, 노드 간(Multi-node) 확장 시 발생할 수 있는 네트워크 대역폭 문제나 동기화 오버헤드에 대해서는 구체적으로 다루지 않았다.