TL;DR
작성자는 공개된 지 하루 된 FreeToken을 RTX 5080 16GB, DDR6 64GB, AMD Ryzen 9 9950X3D 환경에서 시험했다. QWEN3.6-35B-A3B NVFP4를 실행한 초기 측정에서 100 tok/s를 기록했으며, 검증을 위해 arXiv 논문과 Github 저장소 링크를 함께 제공했다. 게시물은 이 수치가 다른 환경에서도 재현되는지 커뮤니티에 확인을 요청하는 형태로 마무리된다.
섹션별 상세
용어 해설
- FreeToken 추론 프로젝트(FreeToken)
- — 이 글에서는 전날 공개된 뒤 작성자가 다음 날 직접 테스트한 프로젝트로 등장한다. Github 저장소와 arXiv 논문 링크가 함께 제공됐으며, QWEN3.6-35B-A3B를 실행해 토큰 처리 속도를 측정하는 데 사용됐다.
- NVFP4 실행 형식(NVFP4)
- — 본문에서 QWEN3.6-35B-A3B 뒤에 붙은 실행 설정 표기다. 작성자는 RTX 5080과 64GB DDR6 메모리, AMD Ryzen 9 9950X3D를 사용한 환경에서 이 형식의 모델 실행 속도를 측정했다.
- 초당 토큰 수(tok/s)
- — 모델 실행 속도를 나타내는 표기로, 이 글에서는 QWEN3.6-35B-A3B NVFP4를 실행할 때 초당 생성된 토큰 수를 가리킨다. 작성자의 초기 측정값은 100 tok/s였다.
언급된 도구
QWEN3.6-35B-A3B NVFP4 실행에 사용한 새 프로젝트
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.