200달러로 72GB VRAM 구축: 비트코인 채굴 하드웨어와 K80을 활용한 초고속 모델 스위칭 시스템

대체로 긍정적이며 저렴한 하드웨어를 활용한 기술적 성취에 대해 높은 관심을 보였다.

• 중고 채굴 보드와 구형 테슬라 카드를 조합하면 저렴하게 대용량 VRAM 서버를 구축할 수 있다.
• 하드웨어 호환성 문제는 커널 모듈 작성을 통한 소프트웨어적 접근으로 해결 가능하다.

• 구형 NVIDIA K80과 채굴 보드를 조합해 200달러 미만으로 72GB VRAM 시스템 구축이 가능하다.
• 커스텀 리눅스 커널 모듈을 통해 단일 PCIe 슬롯에서 6개의 GPU 다이를 제어하는 멀티플렉싱을 구현했다.
• Pure C 기반 엔진과 커널 최적화로 모델 간 전환 속도를 0.3ms 수준으로 단축하여 다중 모델 운용 효율을 극대화했다.