본문으로 건너뛰기

Token-scale

토큰 스케일

토큰 스케일은 대화형·에이전트형 서비스가 생성하는 초대량의 토큰 처리 수요를 의미하며, 실시간 추론과 지속적 서비스 운영을 위해 연속 가동되는 고효율 가속 컴퓨팅과 사용량 기반 비용 구조가 필요하다는 점에서 중요하다. 이 개념은 처리량과 비용 효율성, 멀티테넌시 자원 관리가 서비스 확장의 관건임을 설명한다.