tokenizer.json

토크나이저의 어휘 집합을 담는 파일로서 BPE·SentencePiece 등 구현에서 토큰과 ID 매핑을 제공하며 어휘의 교집합 비율(min-overlap)을 통해 '어떤 모델이 다른 모델의 토크나이저를 그대로 썼는지'를 가늠할 수 있다.