GMKtec Evo-X2 미니 PC 리뷰: 로컬 LLM 구동을 위한 강력한 성능

작성자의 상세한 리뷰에 대해 긍정적인 반응이며, 특히 미니 PC에서 120B 모델을 구동할 수 있다는 점에 높은 관심을 보였다. 일부 사용자는 리눅스 환경에서의 드라이버 지원 여부와 실제 추론 속도(tokens per second)에 대해 추가 질문을 던졌다.

• 대형 모델 구동을 위해 BIOS 설정에서 iGPU에 할당되는 VRAM 용량을 최대치로 조정해야 한다.
• 안정적인 AI 워크플로우를 구축하려면 윈도우보다는 우분투(Ubuntu) 등 리눅스 배포판 사용을 권장한다.
• 고부하 작업 시 온도가 높게 올라가므로 통풍이 잘 되는 환경에서 사용해야 한다.

내장 그래픽 프로세서(iGPU)

— CPU 내부에 통합된 그래픽 처리 장치이다. 별도의 외장 그래픽 카드 없이 연산을 수행하며, 시스템 메모리(RAM)의 일부를 비디오 메모리로 공유하여 사용하므로 메모리 용량이 큰 시스템에서 대규모 모델 처리에 유리하다.

신경망 처리 장치(NPU)

— AI 연산 및 딥러닝 추론에 최적화된 전용 가속기이다. CPU나 GPU보다 적은 전력으로 효율적인 AI 처리를 지원하며, 이 기기는 최대 126 TOPS의 전체 AI 성능 중 50 TOPS를 담당하는 전용 NPU를 탑재했다.

저전력 고속 메모리(LPDDR5X)

— 모바일 및 컴팩트 기기에 최적화된 고성능 저전력 메모리 규격이다. 8000 MT/s의 높은 대역폭을 제공하여 데이터 전송 속도가 중요한 LLM 추론 작업에서 병목 현상을 줄이는 핵심 역할을 한다.

라데온 오픈 컴퓨팅 플랫폼(ROCm)

— AMD GPU에서 AI 및 고성능 컴퓨팅을 가능하게 하는 오픈소스 소프트웨어 스택이다. NVIDIA의 CUDA에 대응하며, 윈도우보다는 리눅스 환경에서 더 높은 안정성과 성능 최적화를 제공하는 것이 특징이다.