관련 기사 바로가기
Gemma 4 E4B 및 E2B 무검열 멀티모달 모델 출시Gemma-4-31B-it Abliterated GGUF 모델 공개소비자용 하드웨어 구동을 위한 9B Qwen 구조화 데이터 추출 모델 양자화 벤치마크Qwen 3.5 0.8B 모델의 IQ2_XXS 양자화 버전 테스트 및 오작동 사례LlamaStick — USB 드라이브로 모든 OS에서 설치 없이 로컬 LLM 실행하기RAMP: 효율적인 온디바이스 LLM 추론을 위한 강화학습 기반 적응형 혼합 정밀도 양자화Qwodel: LLM 양자화를 위한 오픈소스 통합 파이프라인Mac Mini 32GB 모델의 로컬 LLM 성능 벤치마크 결과dlgo: 외부 의존성 없는 순수 Go 언어 기반 초고속 LLM 추론 엔진로컬 LLM 사용자를 위한 시스템 정보 도구: LLM-neofetch-plusQwen 3.5-9B GGUF 파인튜닝 모델 공개: 추론 및 함수 호출 최적화Ledgr: 로컬 LLM 기반의 오프라인 개인 금융 가계부 도구모델 양자화 가이드: FP16에서 GGUF 형식으로 변환하기llama.cpp 서버의 새로운 기능: 모델 관리 및 라우터 모드 도입Radeon 8060s에서 Qwen 3.5 27B 실행 시 Vulkan OOM 및 ROCm 성능 이슈llama.cpp를 위한 경량 파이썬 런처: VRAM 자동 최적화 및 멀티 GPU 지원ROCm 기반 llama.cpp 사용을 단순화하는 llama-runner 래퍼 및 채팅 템플릿 문제 공유Qwen 3.5 기반 Easy Prompt 업데이트: 오디오/텍스트/이미지-비디오 변환 및 GGUF 지원LTX-2.3 다이내믹 GGUF 모델 및 워크플로 출시llama.cpp의 mmap 취약점을 이용한 로컬 LLM 추론 변조 PoC
