js-tiktoken

JavaScript 환경에서 OpenAI 호환 토크나이즈를 제공하는 라이브러리이다. PromptScan은 이 라이브러리를 사용해 소스 코드에 등장하는 프롬프트 문자열의 토큰 수를 계산하여 비용을 추정한다. js-tiktoken이 없는 경우 추정 정밀도가 떨어지므로 도구 동작의 핵심 의존성으로 작동한다.