어휘 경계
특정 문자열이 토크나이저의 어휘 항목과 정확히 일치하는지 갈리는 지점입니다. 글자 하나가 추가되어 기존 항목에서 벗어나면 같은 의미의 단어도 여러 조각으로 분해되어 토큰 비용이 크게 늘어납니다.
