시맨틱 토큰
하나의 토큰이 더 풍부한 의미 정보를 담도록 설계된 토큰 단위로, 구문적 장식 없이 의미 단위만 인코딩하면 모델이 더 압축된 표현으로 학습·추론할 수 있다. 글에서는 사람이 읽는 문법 요소를 제거해 '노이즈'를 줄이는 효과를 가정한다.