byte-level-representation

바이트 수준 표현은 UTF-8 바이트 스트림을 모델의 입력 단위로 사용하여 BPE나 고정 토큰 사전을 쓰지 않는 방식을 말한다. Leo는 모든 처리를 바이트 단위로 수행하며 상위 구조는 학습으로부터 스스로 형성되도록 의도했다. 이 접근은 토크나이저가 부여하는 사전적 편향을 제거하려는 시도다.