Qwen 3.5 CPU 추론에서 ik_llama.cpp가 mainline llama.cpp를 압도하는 성능 기록

작성자의 놀라운 벤치마크 결과에 대해 커뮤니티는 높은 관심을 보였으며, 특히 Zen 5 아키텍처와의 시너지를 긍정적으로 평가했다.

• CPU에서 Qwen 3.5를 구동한다면 ik_llama.cpp를 우선적으로 테스트할 것
• 동일 모델 파일이라도 엔진에 따라 보고되는 정보가 다를 수 있으니 실제 t/s 수치를 기준으로 성능을 판단할 것

• CPU 기반 LLM 추론 시 ik_llama.cpp가 특정 모델(Qwen 3.5)에서 mainline 대비 비약적인 성능 향상을 제공한다.
• Zen 5 아키텍처(AMD Ryzen AI 9)에서 프롬프트 처리 속도가 최대 5배까지 차이 나는 실측 결과가 확인됐다.
• 동일 파일에 대해 엔진별로 파라미터 수와 크기 계산 방식이 다를 수 있으므로 벤치마크 시 주의가 필요하다.