토큰
AI가 텍스트를 처리하는 기본 단위로, 단어나 문자 뭉치에 해당한다. 모델의 처리 용량은 글자 수가 아닌 토큰 수를 기준으로 계산되며, 언어와 모델에 따라 토큰화 방식이 다르다.