M5 Max에서 Qwen3.5-397B 모델 추론 속도 20.34 tok/s 달성 및 최적화 논문 공개

작성자의 성과에 대해 긍정적인 반응이며, 특히 M5 Max의 성능 잠재력에 대한 관심이 높다.

• M5 Max 하드웨어 사용 시 flash-moe 최적화 기법을 적용하여 추론 속도를 극대화할 수 있다.

초당 토큰 수(tok/s)

— 초당 생성되는 토큰의 수를 의미하는 지표이다. LLM의 응답 속도를 결정하는 핵심 수치로, 값이 높을수록 사용자가 체감하는 텍스트 출력 속도가 빠르다.

전문가 혼합(MoE)

— 모델의 전체 파라미터를 모두 사용하는 대신, 입력값에 따라 필요한 일부 전문가 네트워크만 활성화하는 구조이다. 연산 효율성을 극대화하여 거대 모델을 빠르게 실행할 수 있게 한다.

플래시 MoE(flash-moe)

— Mixture of Experts 아키텍처의 추론 속도를 높이기 위해 설계된 최적화 기술이다. 메모리 접근 패턴을 개선하고 연산 병렬성을 높여 하드웨어 성능을 최대한 끌어낸다.

ArXiv 추천(ArXiv Endorsement)

— 과학 기술 논문 저장소인 ArXiv에 논문을 처음 게시할 때 필요한 절차이다. 해당 분야에서 이미 활동 중인 연구자로부터 논문의 질과 신뢰성을 보증받는 과정이다.