16GB Mac에서 26B급 MoE 모델을 고품질로 실행하는 방법 및 LM Studio 'Thinking' 활성화 팁

커뮤니티 반응

사용자들은 저사양 하드웨어에서 고성능 모델을 돌리는 실질적인 팁에 대해 긍정적인 반응을 보였으며, 특히 Thinking 기능 활성화 코드가 유용하다는 평가가 많았다.

주요 논점

01찬성다수

16GB Mac에서 26B 모델은 GPU보다 CPU 추론이 품질 면에서 유리하다

합의점 vs 논쟁점

합의점

저사양 Mac에서 MoE 모델은 CPU 추론이 더 나은 품질을 제공한다
LM Studio 템플릿 수정을 통해 추론 기능을 활성화할 수 있다

실용적 조언

GPU 레이어를 0으로 설정하여 CPU 추론 강제
batch size를 64로 설정하여 부하 경감
Jinja 템플릿 수정을 통한 Thinking 모드 활성화

섹션별 상세

16GB Mac에서 26B급 모델을 GPU로 구동할 경우 메모리 제약으로 인해 2비트 수준의 과도한 양자화가 강제되어 답변 품질이 크게 떨어진다. 반면 CPU 추론 방식을 선택하면 시스템 RAM 용량을 초과하는 모델이라도 전문가(Expert) 스와핑을 통해 4-5비트의 고품질 양자화 모델을 실행할 수 있다. M2 MacBook Pro 기준 8-16K 컨텍스트 윈도우에서 6-10 tps의 속도를 기록하며 실사용 가능한 수준임을 확인했다. 이는 GPU 가속에 집착하기보다 모델 구조에 맞는 연산 장치를 선택하는 것이 중요함을 의미한다.

MoE(Mixture of Experts) 아키텍처는 추론 시 모든 파라미터를 활성화하지 않으므로 메모리 대역폭이 낮은 CPU 환경에서도 예상보다 적은 성능 손실을 보인다. LM Studio 설정에서 GPU 레이어를 0으로 설정하고 '모델 메모리 유지(keep model in memory)' 옵션을 해제하면 전문가 레이어를 효율적으로 교체하며 동작한다. 배치 사이즈를 64 정도로 낮게 설정하는 것이 안정적인 추론에 도움이 된다는 점이 실험을 통해 확인됐다.

LM Studio에서 기본적으로 비활성화된 DeepSeek-R1 등 최신 모델의 'Thinking(추론)' 과정을 활성화하려면 JINGA 프롬프트 템플릿 수정이 필요하다. 템플릿 최상단에 특정 코드를 삽입하고 추론 시작/종료 문자열을 설정함으로써 모델의 사고 과정을 사용자 인터페이스에서 확인할 수 있다. 커뮤니티 사용자 @Guilty_Rooster_6708이 공유한 템플릿 수정 코드가 재현 가능한 해결책으로 확인됐다. 프롬프트 템플릿 수준의 미세 조정을 통해 도구가 공식 지원하지 않는 모델의 잠재 기능을 끌어낼 수 있다.

jinja

{% set enable_thinking=true %}

LM Studio의 JINGA 프롬프트 템플릿에서 추론(Thinking) 기능을 활성화하는 설정 코드

용어 해설

전문가 혼합 모델(MoE): — 모델의 전체 파라미터 중 일부 전문가(Expert) 레이어만 선택적으로 활성화하여 연산하는 아키텍처이다. 메모리 사용량을 효율적으로 관리할 수 있어 저사양 하드웨어에서 대규모 모델을 구동할 때 유리하다.
양자화(Quantization): — 모델의 가중치를 낮은 비트(예: 4-bit)로 변환하여 메모리 점유율을 낮추고 연산 속도를 높이는 기법이다. 비트 수가 낮을수록 용량은 줄어들지만 모델의 지능(품질)이 저하될 수 있다.
초당 토큰 생성 수(TPS): — LLM이 1초당 생성하는 토큰(단어 조각)의 개수를 의미하는 성능 지표이다. 일반적으로 5-10 tps 이상이면 사람이 읽는 속도와 비슷하여 실사용이 가능한 수준으로 간주된다.
키-값 캐시(KV Cache): — 이전 추론 단계에서 계산된 Key와 Value 벡터를 저장하여 중복 계산을 방지하는 기술이다. 컨텍스트 윈도우가 길어질수록 메모리 사용량이 증가하지만 전체적인 추론 속도를 향상시킨다.
진자 템플릿(Jinja Template): — Python 기반의 텍스트 템플릿 엔진으로, LLM 프롬프트의 구조를 정의하는 데 사용된다. 조건문이나 변수 설정을 통해 모델의 응답 방식이나 특정 기능(예: Thinking) 활성화를 제어할 수 있다.

언급된 도구

LM Studio추천

로컬 LLM 실행 및 설정 관리 도구