bijective-codec

바이트 값과 단어열을 서로 중복 없이 일대일로 변환하는 인코딩 방식입니다. unigram은 각 바이트를 하나의 고정 단어에 대응시켜 인코딩하고, 같은 단어열을 다시 원래 바이트로 복원합니다. 값의 길이와 토큰 비용을 일정하게 유지하는 데 중요합니다.