본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

토큰 처리량 (token-throughput) 용어 설명 | AI Trends

token-throughput

토큰 처리량

중급

언어 모델이 단위 시간당 생성하거나 처리할 수 있는 토큰의 양이다. AI 서비스의 응답 속도와 동시 사용자 수용 능력을 결정하는 주요 성능 지표이다.

비슷한 개념

tps throughput token-per-second tk-s otps token-generation inference-throughput generation-throughput

← 용어 사전 전체 보기