ZINC — Zig로 작성된 LLM 추론 엔진, 550달러 AMD GPU에서 35B 모델 실행

커뮤니티 반응

대체로 긍정적이며, AMD 소비자용 GPU 사용자들 사이에서 ROCm의 대안으로서 큰 기대를 모으고 있다.

주요 논점

01찬성다수

AMD 소비자용 GPU를 위한 전용 Vulkan 엔진 개발은 하드웨어 활용도를 높이는 필수적인 시도이다.

합의점 vs 논쟁점

합의점

AMD 소비자용 GPU의 소프트웨어 지원이 부족하다는 점
Zig 언어가 시스템 프로그래밍 및 GPU 리소스 관리에 적합하다는 점

논쟁점

현재의 7.1 tok/s 속도가 실사용에 충분한지에 대한 의견 차이

실용적 조언

AMD GPU 사용자라면 ZINC의 GitHub 저장소를 확인하여 자신의 하드웨어에서 GGUF 모델을 구동해볼 수 있다.
Zig 언어 학습자라면 @cImport와 comptime을 활용한 실제 시스템 프로그래밍 사례로 이 프로젝트의 코드를 참고할 수 있다.

섹션별 상세

AMD 소비자용 GPU 지원 부족 문제: ROCm이 소비자용 카드를 공식 지원하지 않고 vLLM 등 주요 엔진이 작동하지 않는 상황에서, 기존 llama.cpp의 Vulkan 구현은 하드웨어 아키텍처에 최적화되지 않은 범용 셰이더를 사용한다는 한계를 지적했다. 수백만 대의 AMD GPU가 충분한 대역폭과 연산력을 갖추고 있음에도 소프트웨어 부재로 인해 성능을 발휘하지 못하는 현실을 개발 동기로 밝혔다. 하드웨어의 잠재력을 끌어내기 위한 전용 엔진의 필요성을 강조했다.

Zig 언어의 기술적 선택 이유: Zig는 @cImport를 통해 별도의 바인딩 생성기 없이 Vulkan C ABI에 직접 접근할 수 있으며, comptime 기능을 활용해 양자화 방식에 따른 디스패치 테이블을 컴파일 타임에 생성한다. errdefer를 사용해 복잡한 GPU 리소스 정리를 안전하게 관리하고, 빌드 시스템 내에서 GLSL 셰이더를 SPIR-V로 자동 컴파일하여 단일 바이너리에 포함시키는 효율적인 워크플로우를 구축했다. 이는 시스템 프로그래밍 측면에서 높은 생산성과 성능을 동시에 제공한다.

ZINC 엔진의 현재 구현 상태: GGUF 모델 형식을 네이티브 Zig 코드로 파싱하고 21GB의 가중치를 VRAM에 직접 매핑하여 Qwen3.5-35B 모델을 구동하는 데 성공했다. 40계층의 하이브리드 트랜스포머 구조와 MoE 전문가 라우팅, SSM 레이어를 모두 구현하여 실제 추론 결과의 정확성을 확인했다. 약 5,000줄의 Zig 코드와 2,000줄의 GLSL 코드로 구성되어 가독성이 높은 코드베이스를 유지하고 있다.

성능 병목 현상과 최적화 계획: 현재 RDNA4 GPU에서 7.1 tok/s의 속도를 기록하고 있으나, 이는 연산 능력 부족이 아니라 토큰당 120회 발생하는 레이어별 GPU 동기화 오버헤드가 원인임을 분석했다. 이를 해결하기 위해 전체 디코드 연산 그래프를 단일 커맨드 버퍼로 기록하여 CPU-GPU 간 통신 횟수를 획기적으로 줄이는 작업을 핵심 과제로 진행 중이다. 이 최적화가 완료되면 하드웨어의 실제 대역폭에 근접한 성능 향상이 기대된다.

용어 해설

벌칸(Vulkan): — 크로스 플랫폼 그래픽 및 컴퓨팅 API로, 하드웨어에 대한 저수준 제어를 제공하여 GPU 성능을 극대화하는 데 사용된다. ZINC 엔진의 핵심 추론 경로를 구현하는 데 활용됐다.
RDNA4: — AMD의 최신 GPU 아키텍처로, 높은 메모리 대역폭과 인공지능 연산을 위한 전용 매트릭스 코어를 탑재하고 있다. ZINC는 이 하드웨어의 잠재력을 최대한 활용하도록 설계됐다.
GGUF: — LLM 가중치를 저장하기 위한 파일 형식으로, 단일 파일 내에 모델 구조와 양자화된 데이터를 효율적으로 담을 수 있어 로컬 추론에 널리 쓰인다. ZINC는 이 형식을 네이티브로 파싱한다.
전문가 혼합(MoE): — 모델의 전체 파라미터 중 일부만 활성화하여 연산 효율을 높이는 구조다. ZINC는 MoE 전문가 라우팅을 지원하여 대규모 모델의 로컬 실행을 가능하게 한다.
SPIR-V: — Vulkan 등에서 사용되는 중간 언어 형태의 셰이더 코드로, 소스 코드를 미리 컴파일하여 실행 시 하드웨어 독립적인 최적화를 가능하게 한다. ZINC 빌드 과정에서 자동으로 생성된다.

언급된 도구

ZINC추천

LLM 추론 엔진

Zig추천

시스템 프로그래밍 언어

Vulkan추천

그래픽 및 컴퓨팅 API

llama.cpp중립

LLM 추론 도구

언급된 리소스

GitHubZINC GitHub Repository