multimodal-tokenization

텍스트, 이미지, 오디오 등 서로 다른 형태의 데이터를 하나의 공통된 토큰 공간으로 변환하는 과정이다. 이를 통해 모델은 다양한 입력을 단일한 논리 체계 안에서 통합적으로 이해하고 처리할 수 있다.