RTX 3090에서 LM Studio의 Qwen 3.5 추론 속도 저하 문제 해결 및 설정 공유

커뮤니티 반응

사용자는 스스로 문제를 해결하고 설정을 공유했으며, LM Studio의 비직관적인 기본 설정에 대해 의구심을 표했다.

주요 논점

01중립다수

LM Studio의 편의 기능은 좋으나 추론 성능 최적화가 미흡하여 고성능 하드웨어 사용자에게는 부적합할 수 있다.

합의점 vs 논쟁점

합의점

LM Studio에서 GPU 오프로드 설정은 반드시 수동으로 확인해야 한다.
Qwen 3.5 모델은 추론 시 토큰 소모량이 많아 높은 추론 속도가 필수적이다.

논쟁점

LM Studio가 왜 VRAM 로드와 CPU 추론을 기본 조합으로 설정해 두었는지에 대한 의문이 제기되었다.

실용적 조언

LM Studio에서 모델 로드 후 반드시 'GPU Offload' 설정을 확인하고 수동으로 활성화할 것
성능이 최우선이라면 Kobold나 다른 경량 추론 엔진 사용을 고려할 것

섹션별 상세

RTX 3090 환경에서 Qwen 3.5 35B 및 27B GGUF 모델을 LM Studio로 실행했을 때 초기 속도가 4-8 tok/s에 불과했다. 사용자는 ECC RAM의 속도 문제나 모델 양자화 수준을 의심했으나, 동일한 모델을 다른 프론트엔드인 Kobold에서 실행했을 때는 정상 속도가 나오는 것을 확인하여 소프트웨어 설정 문제임을 인지했다.

문제의 근본 원인은 LM Studio의 기본 설정에 있었다. 모델을 VRAM에 로드하도록 구성되어 있음에도 불구하고, 실제 추론 연산은 CPU를 사용하도록 기본값이 설정되어 있었다. 이를 해결하기 위해 모델 구성 패널에서 'GPU Offload' 옵션을 수동으로 활성화해야 한다.

설정 수정 후 35B Q5 모델에서 약 10.54 tok/s의 속도를 확보했으나, 이는 여전히 RTX 2080 수준의 성능에 불과하여 하드웨어 잠재력을 완전히 끌어내지 못한 결과다. 사용자는 LM Studio가 제공하는 RAG 기능과 샌드박스 폴더 접근 권한을 유지하기 위해 이러한 성능 손실을 감수하고 있다.

35B 모델을 위한 LM Studio 설정 스크린샷 — Screenshot사용자가 RTX 3090에서 Qwen 3.5 35B 모델을 실행하기 위해 조정한 GPU 오프로드 및 컨텍스트 설정 값을 보여준다. 이 설정을 통해 10.54 tok/s의 속도를 달성했음을 입증한다.

27B 모델을 위한 LM Studio 설정 스크린샷 — Screenshot27B 모델에 최적화된 설정 값을 공유하며, 하위 모델에서도 유사한 설정 조정이 필요함을 시각적으로 제시한다.

Qwen 3.5 모델은 추론 과정에서 '생각(Thinking)' 단계에 많은 토큰을 소모하며, 추론 속도가 느릴 경우 사용자 경험이 매우 저하된다. 특히 모델이 스스로 질문을 반복하는 현상이 발생할 때 낮은 토큰 속도는 치명적이며, 컨텍스트 길이는 속도 변화에 큰 영향을 주지 않는 것으로 나타났다.

용어 해설

GPU 오프로드(GPU Offload): — CPU가 처리해야 할 연산 작업의 일부를 GPU로 넘겨 처리 속도를 높이는 기술이다. 로컬 LLM 실행 시 모델의 레이어를 VRAM에 올려 연산 속도를 극대화하는 데 필수적이다.
GGUF: — llama.cpp 프로젝트에서 개발한 모델 파일 포맷으로, CPU와 GPU 간의 효율적인 로딩과 양자화된 모델 실행을 지원한다. 단일 파일로 모델을 배포하기 용이하다.
양자화(Quantization): — 모델의 가중치 정밀도를 낮추어 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 예를 들어 16비트 부동소수점을 4비트 정수로 변환하여 성능과 용량의 균형을 맞춘다.
비디오 램(VRAM): — 그래픽 카드에 장착된 전용 메모리로, LLM의 파라미터를 로드하여 빠른 병렬 연산을 수행하는 데 사용된다. VRAM 용량이 클수록 더 큰 모델을 빠르게 실행할 수 있다.

언급된 도구

LM Studio중립

로컬 LLM 실행 및 RAG 지원 도구

Kobold추천

LLM 추론 프론트엔드