Qwen 3.5 35B MoE 모델의 실행 속도 차이: LM Studio(16 tok/s) vs llama.cpp(40 tok/s)

커뮤니티 반응

사용자들이 발견한 성능 격차에 대해 놀라움을 표하며 GUI 도구의 편의성과 성능 사이의 트레이드오프에 대해 활발히 논의하고 있습니다.

주요 논점

01중립다수

LM Studio의 설정 최적화가 부족하거나 내부 llama.cpp 버전이 구형일 가능성이 크므로 직접 실행이 유리합니다.

실용적 조언

최상의 성능을 원한다면 LM Studio 대신 llama.cpp의 llama-server를 직접 실행하여 API 형태로 연결해 사용하는 것이 좋습니다.

섹션별 상세

MoE 모델 추론 시 발생하는 GUI 오버헤드 문제입니다. LM Studio와 같은 GUI 도구는 사용자 편의성을 제공하지만 내부적으로 llama.cpp를 래핑하는 과정에서 추가적인 자원 소모나 비효율적인 설정이 발생할 수 있다는 점이 지적되었습니다. 특히 MoE(Mixture of Experts) 구조의 복잡성이 이러한 성능 차이를 극대화할 가능성이 큽니다.

llama.cpp의 최신 최적화 반영 속도 차이입니다. 순수 llama.cpp는 커뮤니티의 최신 패치와 최적화 기법이 즉각적으로 반영되는 반면 이를 활용하는 서드파티 앱들은 업데이트 주기가 늦어 최신 모델 아키텍처에 최적화된 성능을 내지 못할 수 있습니다. 사용자는 unsloth에서 제공하는 특정 GGUF 버전을 사용하여 터미널에서 직접 실행했을 때 훨씬 높은 효율을 경험했습니다.

컨텍스트 윈도우 및 하드웨어 가속 설정의 영향입니다. 사용자가 공유한 llama-server 명령어를 보면 65,536 토큰의 긴 컨텍스트를 설정했음에도 40 tok/s라는 높은 속도를 기록했습니다. LM Studio의 기본 설정이 GPU 레이어 오프로딩이나 KV 캐시 관리 측면에서 터미널 실행만큼 정교하게 제어되지 않았을 가능성이 제기되었습니다.

언급된 도구

LM Studio중립

로컬 LLM 실행 GUI 도구

llama.cpp추천

LLM 추론 엔진 및 서버

언급된 리소스

GitHubunsloth/Qwen3.5-35B-A3B-GGUF