compound tokenization
복합 토크나이제이션
compound tokenization은 단순 토큰화보다 문맥 단위 중복을 더 잘 식별하기 위해 토큰 경계와 서브워드 결합 전략을 혼합하는 처리 기법을 말한다. 글에선 BM25로 선별한 텍스트에 이 토크나이제이션을 적용해 불필요한 중복 토큰을 제거하면서도 출처의 충실도를 유지하는 전처리 단계로 사용했다. 적용 방식에 따라 토큰 수와 의미 보존 간의 균형을 조정할 수 있다.
복합 토크나이제이션
compound tokenization은 단순 토큰화보다 문맥 단위 중복을 더 잘 식별하기 위해 토큰 경계와 서브워드 결합 전략을 혼합하는 처리 기법을 말한다. 글에선 BM25로 선별한 텍스트에 이 토크나이제이션을 적용해 불필요한 중복 토큰을 제거하면서도 출처의 충실도를 유지하는 전처리 단계로 사용했다. 적용 방식에 따라 토큰 수와 의미 보존 간의 균형을 조정할 수 있다.
