cl100k 토크나이저
Anthropic 등에서 사용하는 토큰화 규칙 또는 그와 호환되는 토큰 집합을 가리키는 표기이다. 원문에는 Anthropic 토크나이저의 공개 버전이 없어서 PromptScan이 라벨이 붙은 cl100k 프록시를 사용해 토큰 수를 근사했다는 점이 명시되어 있다. 해당 프록시는 정확한 공개 구현이 없을 때 비용 추정의 근사치를 제공하는 역할을 한다.
