subword-tokenization
서브워드 토큰화
Subword Tokenization은 단어 전체 대신 자주 반복되는 문자 또는 부분 단어 단위로 문장을 분해하는 방식입니다. 희귀어와 새로운 단어도 알려진 조각으로 표현해 OOV 문제를 줄이는 데 사용됩니다.
서브워드 토큰화
Subword Tokenization은 단어 전체 대신 자주 반복되는 문자 또는 부분 단어 단위로 문장을 분해하는 방식입니다. 희귀어와 새로운 단어도 알려진 조각으로 표현해 OOV 문제를 줄이는 데 사용됩니다.
