초당 토큰 생성량
언어 모델이 1초당 생성하는 텍스트 단위(토큰)의 개수로, 모델의 추론 속도를 나타내는 주요 지표이다.
CLI는 100t/s인데 서버는 10t/s? llama.cpp 성능 미스터리
16GB VRAM에서 50 t/s 속도로 돌아가는 로컬 코딩 에이전트
GPT-5보다 10배 빠르다? 1초에 1,000토큰 뽑아내는 Mercury 2의 비밀
Gemini 3.1 Pro의 귀환과 초당 17,000토큰을 쏟아내는 실리콘 칩
1초에 1,000토큰? OpenAI의 초고속 코딩 모델과 오픈클로의 대반전