arabizi
아라비지
아라비지는 아랍어 음소를 라틴 문자와 숫자 조합으로 표기하는 정서법으로, 숫자 3/7/9/5 등이 특정 아랍어 자음을 대신한다. 이 표기법은 철자 규칙이 일관되지 않고 동일 어휘가 여러 형태로 표기되기 때문에 토크나이저와 정규화 단계에서 특별 처리가 필요하다. 본 게시물에서는 Arabizi의 숫자 기호들을 보호(symbol)로 처리한 SentencePiece BPE가 핵심 전처리 방법으로 사용되었다.
중급
아라비지
아라비지는 아랍어 음소를 라틴 문자와 숫자 조합으로 표기하는 정서법으로, 숫자 3/7/9/5 등이 특정 아랍어 자음을 대신한다. 이 표기법은 철자 규칙이 일관되지 않고 동일 어휘가 여러 형태로 표기되기 때문에 토크나이저와 정규화 단계에서 특별 처리가 필요하다. 본 게시물에서는 Arabizi의 숫자 기호들을 보호(symbol)로 처리한 SentencePiece BPE가 핵심 전처리 방법으로 사용되었다.