M5 Pro 64GB 환경에서의 Qwen 3.5 122B 모델 구동 성능 리뷰

실용적 조언

대형 모델 구동 전 터미널에서 sysctl 명령어를 사용하여 GPU 메모리 제한을 확장하면 메모리 부족 오류를 방지할 수 있다.
시스템 안정성을 위해 VRAM 점유율이 전체 메모리의 90%를 넘지 않도록 컨텍스트 윈도우 크기를 조절해야 한다.

섹션별 상세

Apple Silicon의 통합 메모리 제한을 해제하기 위해 특정 터미널 명령어를 사용했다. sysctl 명령어로 GPU 통합 메모리 제한 비율을 조정하고 유선 메모리 한계를 61440MB로 설정하여 64GB 전체 용량에 가까운 VRAM을 확보했다. 이 설정을 통해 대규모 모델 로드 시 발생하는 메모리 부족 문제를 해결하고 시스템 자원을 최대로 활용했다.

bash

sysctl iogpu.unified_memory_limit_percentage & sudo sysctl iogpu.wired_limit_mb=61440

macOS에서 GPU가 사용할 수 있는 통합 메모리 비율과 유선 메모리 한계를 수동으로 확장하는 명령어

Qwen 3.5 122B 모델의 3-bit 양자화 버전은 M5 Pro에서 기대 이상의 성능을 기록했다. LM Studio에서 컨텍스트 윈도우를 16384로 설정했을 때 첫 토큰 생성 시간(TTFT)은 0.86초, 생성 속도는 초당 39.58토큰으로 나타났다. 이는 사파리, 메시지 앱 등 다른 작업을 병행하는 환경에서도 매우 매끄러운 추론이 가능한 수준이다.

메모리 점유율이 물리적 한계치인 59GB에 근접하면 시스템이 완전히 멈추는 현상이 발생했다. 컨텍스트 윈도우가 가득 차면서 할당된 VRAM 한계에 도달할 때 시스템 락업이 일어나는 안정성 문제가 확인됐다. 원활한 구동을 위해서는 메모리 여유 공간을 고려하여 컨텍스트 크기를 적절히 제한하는 관리가 필요하다.

모델 크기와 양자화 방식에 따른 성능과 정확도의 트레이드오프가 관찰됐다. Qwen 3.5 40B 기반의 특정 변형 모델(Mxfp8 양자화)은 122B 모델보다 높은 정확도를 보였으나 생성 속도는 초당 6.93토큰으로 크게 하락했다. 사용자의 우선순위가 속도인지 정확도인지에 따라 적합한 모델 선택이 달라짐을 시사한다.

용어 해설

통합 메모리(Unified Memory): — Apple Silicon 아키텍처에서 CPU와 GPU가 동일한 메모리 풀을 공유하는 구조이다. 별도의 비디오 메모리(VRAM) 없이 시스템 RAM을 직접 활용하므로 대규모 언어 모델 로드 시 메모리 효율성이 극대화된다.
양자화(Quantization): — 모델의 가중치 정밀도를 낮추어 메모리 점유율을 줄이고 연산 속도를 높이는 기법이다. 본문에서는 3-bit 및 Mxfp8 양자화가 언급되며, 이는 모델 크기를 줄여 로컬 환경에서의 구동을 가능하게 한다.
첫 토큰 생성 시간(TTFT): — Time to First Token의 약자로, 모델에 프롬프트를 입력한 후 첫 번째 결과가 출력될 때까지 걸리는 지연 시간이다. 사용자 경험의 즉각성을 결정하는 중요한 성능 지표이다.

언급된 도구

LM Studio추천

로컬 LLM 추론 및 컨텍스트 윈도우 설정 도구

Activity Monitor중립

시스템 자원 및 메모리 사용량 모니터링