cl100k_base
GPT-4 및 GPT-3.5 모델에서 사용하는 OpenAI의 토크나이저 인코딩 방식입니다. 약 10만 개의 토큰 어휘를 포함하며, 텍스트를 효율적으로 압축하여 모델의 컨텍스트 윈도우를 최적화합니다.