중고 Intel Optane 메모리로 1조 파라미터 LLM 구동하기

섹션별 상세

1조 파라미터 모델을 구동하기 위해 6개의 128GB Intel Optane DCPMM 모듈을 사용하여 총 768GB의 메모리 풀을 구성했다.

llama.cpp 프레임워크를 사용하여 GPU와 CPU를 결합한 하이브리드 추론 방식을 채택하고, override-tensor 플래그로 라우팅 컴포넌트를 12GB VRAM GPU에 할당했다.

이 시스템은 초당 약 4 토큰의 성능을 기록하며, 고가의 DRAM을 대체하는 저비용 대안으로서 Optane 메모리의 유효성을 입증했다.

근거

Optane은 단종되었으나, 향후 CXL 표준이 DRAM과 SSD 사이의 메모리 격차를 해소하는 대안으로 부상할 것으로 전망된다.

옵테인 영구 메모리(Optane PMem): — Intel이 개발한 비휘발성 메모리 기술로, DRAM과 SSD 사이의 성능 격차를 메우기 위해 설계되었다. 일반 DRAM보다 저렴한 비용으로 대용량 메모리를 구성할 수 있어, 대규모 모델 추론 시 메모리 부족 문제를 해결하는 대안으로 사용된다.
컴퓨트 익스프레스 링크(CXL): — CPU와 가속기, 메모리 장치 간의 고속 연결을 위한 오픈 표준 인터페이스이다. 대규모 메모리 풀링을 가능하게 하여 향후 대규모 언어 모델 구동을 위한 메모리 병목 현상을 해결할 핵심 기술로 주목받는다.
라마.cpp(llama.cpp): — LLM을 일반 소비자용 하드웨어에서 효율적으로 실행하기 위해 C/C++로 작성된 추론 엔진이다. 양자화 및 하이브리드 추론을 지원하여 GPU VRAM이 부족한 환경에서도 CPU와 시스템 메모리를 활용해 대형 모델을 구동할 수 있게 한다.