본문으로 건너뛰기

FreeToken으로 QWEN3.6-35B-A3B 100 tok/s

FreeToken을 RTX 5080에서 시험해 QWEN3.6-35B-A3B NVFP4 처리량 100 tok/s를 기록했다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 공개된 지 하루 된 FreeToken을 RTX 5080 16GB, DDR6 64GB, AMD Ryzen 9 9950X3D 환경에서 시험했다. QWEN3.6-35B-A3B NVFP4를 실행한 초기 측정에서 100 tok/s를 기록했으며, 검증을 위해 arXiv 논문과 Github 저장소 링크를 함께 제공했다. 게시물은 이 수치가 다른 환경에서도 재현되는지 커뮤니티에 확인을 요청하는 형태로 마무리된다.

섹션별 상세

01
작성자는 전날 공개된 FreeToken을 다음 날 직접 시험할 기회를 얻었고, 관련 arXiv 논문과 Github 저장소 링크를 함께 공유했다. 게시물의 초점은 프로젝트 공개 소식 자체보다 실제 모델 실행 결과에 있다. 따라서 독자는 제공된 저장소와 논문을 따라가며 같은 도구를 확인할 수 있다.
02
테스트 환경은 RTX 5080 16GB, DDR6 64GB, AMD Ryzen 9 9950X3D로 구성됐다. 이 환경에서 QWEN3.6-35B-A3B NVFP4를 실행한 뒤 처리량을 토큰 단위로 측정했고, 작성자는 초기 결과로 100 tok/s를 기록했다. 구체적인 하드웨어와 모델 형식이 함께 제시돼 다른 사용자가 자신의 환경과 비교할 기준이 된다.

용어 해설

FreeToken 추론 프로젝트(FreeToken)
이 글에서는 전날 공개된 뒤 작성자가 다음 날 직접 테스트한 프로젝트로 등장한다. Github 저장소와 arXiv 논문 링크가 함께 제공됐으며, QWEN3.6-35B-A3B를 실행해 토큰 처리 속도를 측정하는 데 사용됐다.
NVFP4 실행 형식(NVFP4)
본문에서 QWEN3.6-35B-A3B 뒤에 붙은 실행 설정 표기다. 작성자는 RTX 5080과 64GB DDR6 메모리, AMD Ryzen 9 9950X3D를 사용한 환경에서 이 형식의 모델 실행 속도를 측정했다.
초당 토큰 수(tok/s)
모델 실행 속도를 나타내는 표기로, 이 글에서는 QWEN3.6-35B-A3B NVFP4를 실행할 때 초당 생성된 토큰 수를 가리킨다. 작성자의 초기 측정값은 100 tok/s였다.

언급된 도구

FreeToken중립링크

QWEN3.6-35B-A3B NVFP4 실행에 사용한 새 프로젝트

언급된 리소스

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 08. 22.수집 2026. 08. 22.출처 타입 REDDIT

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.