M5 Pro 64GB 환경에서의 Qwen 3.5 122B 모델 구동 성능 리뷰

작성자의 구체적인 성능 수치와 설정 공유에 대해 긍정적인 반응이며, 특히 M5 Pro의 높은 토큰 생성 속도에 주목하고 있다.

• 대형 모델 구동 전 터미널에서 sysctl 명령어를 사용하여 GPU 메모리 제한을 확장하면 메모리 부족 오류를 방지할 수 있다.
• 시스템 안정성을 위해 VRAM 점유율이 전체 메모리의 90%를 넘지 않도록 컨텍스트 윈도우 크기를 조절해야 한다.

• M5 Pro 64GB 환경에서 122B급 대형 모델을 3-bit 양자화로 구동할 경우 초당 약 40토큰의 실용적인 추론 속도 확보가 가능하다.
• macOS의 기본 GPU 메모리 할당 제한을 sysctl 명령어로 수동 확장해야 60GB 이상의 VRAM 요구량을 충족할 수 있다.
• VRAM 사용량이 59GB를 초과하면 시스템 전체가 중단될 수 있으므로 컨텍스트 윈도우 설정을 통한 메모리 점유 제어가 필수적이다.