처리 중인 토큰
특정 시점에 백엔드 서버가 현재 처리하고 있는 모든 요청의 총 토큰 수를 의미하는 지표이다. 단순 연결 수보다 서버의 실제 계산 부하를 더 정확하게 반영하므로, 이를 기준으로 라우팅하면 서버 간 부하 균형을 정밀하게 맞출 수 있다.