200달러로 72GB VRAM 구축: 비트코인 채굴 하드웨어와 K80을 활용한 초고속 모델 스위칭 시스템

대체로 긍정적이며 저렴한 하드웨어를 활용한 기술적 성취에 대해 높은 관심을 보였다.

• 중고 채굴 보드와 구형 테슬라 카드를 조합하면 저렴하게 대용량 VRAM 서버를 구축할 수 있다.
• 하드웨어 호환성 문제는 커널 모듈 작성을 통한 소프트웨어적 접근으로 해결 가능하다.

엔비디아 K80(NVIDIA K80)

— NVIDIA에서 출시한 서버용 GPU로, 하나의 카드에 두 개의 GPU 다이가 탑재되어 총 24GB의 VRAM을 제공한다. 구형 모델이지만 저렴한 가격 덕분에 로컬 LLM 구축 시 가성비 하드웨어로 주목받는다.

PCIe 멀티플렉싱(PCIe Multiplexing)

— 단일 PCIe 통로를 여러 장치가 공유하거나 논리적으로 분할하여 사용하는 기술이다. 본 프로젝트에서는 커스텀 커널 모듈을 통해 하나의 슬롯에 연결된 여러 GPU 다이를 효율적으로 제어하고 전환하는 데 사용되었다.

커널 모듈(Kernel Module)

— 운영체제 커널의 기능을 확장하기 위해 동적으로 로드되는 코드 조각이다. 하드웨어 드라이버나 시스템 최적화를 위해 사용되며, 여기서는 채굴 보드에서 GPU를 인식시키고 제어하기 위해 직접 작성되었다.

비디오 램(VRAM)

— GPU가 그래픽 처리나 AI 모델의 가중치를 저장하기 위해 사용하는 전용 메모리이다. LLM 구동 시 모델의 파라미터 크기에 비례하여 대용량 VRAM이 요구되므로 시스템 구축 시 가장 중요한 요소 중 하나이다.

추론 엔진(Inference Engine)

— 학습된 AI 모델을 실행하여 결과를 도출하는 소프트웨어 시스템이다. 여기서는 성능 극대화와 의존성 제거를 위해 Python 없이 Pure C로만 작성되어 구형 하드웨어에서도 빠른 추론 속도를 보장한다.