geometric-hashing

BPE와 같은 전통적인 토크나이저 대신 결정론적이고 어휘 사전이 필요 없는 토큰화 방식이다. 아나그램 간의 충돌만 허용하는 GDA Collision Bound 이론을 기반으로 하며, 글리치 토큰 문제를 해결하고 모델의 인지 효율성을 높이는 역할을 한다.