POET-X: 단일 H100 GPU에서 10억 파라미터 LLM 사전 학습 가능하게 하는 메모리 효율적 기법

섹션별 상세

POET-X는 기존 POET 프레임워크를 개선하여 가중치 행렬에 직교 등가 변환을 수행하는 스펙트럼 보존 최적화 방식을 도입했다. 이 방식은 표준 AdamW 옵티마이저가 모든 파라미터에 대해 1차 및 2차 모멘트 추정치를 저장하며 메모리 사용량을 3배로 늘리는 문제를 근본적으로 해결했다.

NVIDIA H100 GPU 한 장을 사용한 실험에서 표준 AdamW 옵티마이저는 10억 파라미터 모델 학습 시 메모리 부족(OOM) 현상이 발생했으나, POET-X는 동일한 환경에서 학습을 성공적으로 완료했다. 이는 기존 POET 방식의 고비용 행렬 곱셈 연산 오버헤드를 최적화하여 처리량(Throughput)과 메모리 효율을 동시에 확보한 결과이다.

이 기법은 학습의 안정성과 일반화 성능을 유지하면서도 하드웨어 진입 장벽을 낮추는 데 집중했다. 수천 개의 GPU가 필요한 기존 방식과 달리 단일 고성능 GPU만으로도 연구가 가능해짐에 따라 예산이 한정된 소규모 연구 팀이나 조직의 LLM 개발 참여가 용이해질 전망이다.

용어 해설

직교 변환(Orthogonal Transformation): — 벡터의 길이를 보존하면서 공간을 회전시키는 선형 변환이다. POET-X에서는 가중치 행렬의 스펙트럼 특성을 유지하면서 메모리 효율적인 최적화를 수행하는 핵심 메커니즘으로 사용된다.
AdamW: — 가중치 감쇠를 분리하여 일반화 성능을 개선한 딥러닝 옵티마이저이다. 각 파라미터마다 모멘텀 정보를 저장해야 하므로 모델 파라미터 수의 약 3배에 달하는 메모리를 소모하는 특징이 있다.
사전 학습(Pretraining): — 대규모 데이터셋을 사용하여 모델의 기초적인 언어 이해 능력을 학습시키는 단계이다. 수조 개의 토큰을 처리해야 하므로 막대한 컴퓨팅 자원과 메모리가 요구되는 가장 비용이 큰 과정이다.
스펙트럼 보존(Spectrum-preserving): — 행렬의 고윳값 분포를 일정하게 유지하는 특성이다. 최적화 과정에서 모델의 수렴 안정성을 확보하고 학습 중 정보 손실을 방지하여 대규모 모델의 안정적인 학습을 돕는 역할을 한다.

기술

POET-X
NVIDIA H100
AdamW
Orthogonal Transformation

활용 사례

단일 GPU 기반 LLM 사전 학습
메모리 제한 환경에서의 모델 최적화
소규모 연구팀의 독자적 모델 개발