Qwen 3.5 CPU 추론에서 ik_llama.cpp가 mainline llama.cpp를 압도하는 성능 기록

작성자의 놀라운 벤치마크 결과에 대해 커뮤니티는 높은 관심을 보였으며, 특히 Zen 5 아키텍처와의 시너지를 긍정적으로 평가했다.

• CPU에서 Qwen 3.5를 구동한다면 ik_llama.cpp를 우선적으로 테스트할 것
• 동일 모델 파일이라도 엔진에 따라 보고되는 정보가 다를 수 있으니 실제 t/s 수치를 기준으로 성능을 판단할 것

프롬프트 처리(Prompt Processing)

— 모델이 입력된 텍스트(프롬프트)를 한꺼번에 읽어 들이는 단계의 속도이다. 대규모 문맥을 처리할 때 이 속도가 빠를수록 초기 응답 대기 시간이 단축된다. 특히 RAG와 같이 긴 컨텍스트를 주입하는 시스템에서 전체 성능을 결정짓는 핵심 요소이다.

토큰 생성(Token Generation)

— 모델이 답변을 한 토큰씩 순차적으로 생성하는 단계의 속도이다. 실제 사용자가 실시간으로 답변이 출력되는 것을 체감하는 지표이며, 대화형 AI 서비스의 사용자 경험에 직결된다. 초당 생성되는 토큰 수(t/s)로 주로 측정된다.

양자화(Quantization)

— 모델의 가중치 데이터를 낮은 비트(예: 4비트)로 압축하여 메모리 사용량을 줄이고 연산 속도를 높이는 기법이다. 성능 손실을 최소화하면서 효율성을 극대화하여 일반 소비자용 하드웨어에서도 거대 모델을 구동할 수 있게 한다.

젠 5(Zen 5)

— AMD의 최신 CPU 마이크로아키텍처로, 이전 세대 대비 향상된 IPC와 AI 연산 가속 기능을 포함한다. 최신 LLM 추론 엔진들이 이 아키텍처의 AVX-512와 같은 명령어를 활용해 CPU 추론 성능을 비약적으로 향상시킨다.