관련 기사 바로가기
KV 캐시 양자화가 에이전트의 도구 호출 성능을 저하시키는 이유Mac Mini M4 (16GB) 기반 88개 GGUF 모델 벤치마크 및 자동화 파이프라인 공개Meituan LongCat-Flash-Lite 모델의 N-gram 기반 로컬 배포 및 성능 결과Q3 양자화가 Q4를 능가할 수 있을까? 동적 양자화의 특이 사례 논의AMD 하드웨어와 Qwen3-VL-8B를 활용한 로컬 음성 비서 구축기Claude Code에서 영감을 받은 로컬 모델용 Rust 기반 에이전트 오케스트레이터 SDK로컬 LLM의 미래: 모델 크기 대비 성능 향상과 모바일 최적화에 대한 기대AMD Strix Halo iGPU와 NVIDIA eGPU를 활용한 대규모 MoE 및 비전 모델 동시 구동 가이드소형 MoE 모델의 양자화 성능 비교: LFM2-8B 및 OLMoE-1B-7B 벤치마크 분석로컬 LLM 추론 엔진의 도구 호출 strict 모드 지원 현황 및 한계음성 복제 및 스트리밍을 지원하는 로컬 TTS 서버 Pocket-TTS-Server 개발Step 3.5, MiniMax M2.5 및 주요 모델의 llama.cpp 벤치마크 결과 공유llama.cpp에 NVFP4 지원 도입: Blackwell GPU 사용자들을 위한 2.3배 속도 향상과 메모리 절감Qwen 모델 직접 파인튜닝을 통한 추론 품질 개선 및 템플릿 오류 해결 사례7년 된 삼성 갤럭시 S10E에서 Qwen 0.8B 모델 로컬 실행 성공Qwen 3.5 35B MoE 모델의 실행 속도 차이: LM Studio(16 tok/s) vs llama.cpp(40 tok/s)Intel Arc B580 기반 Qwen 3.5 모델 추론 성능 벤치마크 결과Orange Pi 5(RK3588)에서 llama.cpp 대비 2배 빠른 ik_llama.cpp 벤치마크 결과Qwen 3.5 사용 시 프롬프트 재처리를 방지하는 llama.cpp 체크포인트 수정 사항 테스트 요청llama.cpp 서버에서 Qwen 모델의 사고 모드 비활성화 및 최적 설정 방법
