본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

토큰 지연 (token-latency) 용어 설명 | AI Trends

token-latency

토큰 지연

중급

모델이 첫 번째 토큰을 생성하기까지 걸리는 시간. 로컬 환경에서 모델 로딩 및 스와핑 시 성능에 영향을 미친다.

비슷한 개념

first-token-latency ttft tpot token-generation time-to-token time-to-first-token itl token-throughput

← 용어 사전 전체 보기