이산 토크나이저
연속적인 데이터를 유한한 개수의 정해진 기호(토큰) 시퀀스로 변환하는 도구이다. 자연어 처리의 단어처럼 이미지를 이산적인 단위로 쪼개어 Transformer 아키텍처가 효율적으로 처리할 수 있도록 돕는다.