t-s
LLM이 1초당 생성하는 텍스트의 단위를 의미하며, 모델의 추론 속도를 측정하는 가장 핵심적인 지표이다. 수치가 높을수록 사용자가 체감하는 응답 속도가 빨라진다.
엔비디아 DGX Spark 가격 폭등, 로컬 LLM 하드웨어 시장의 지각변동
3090 3대로 돌려본 Qwen 3.5: MoE의 압도적 속도와 27B의 크래시 현상
30B 모델이 150B 성능을? 커뮤니티가 바라는 로컬 LLM 혁신