rq-vae

연속적 멀티모달 임베딩을 다단계 이산 코드로 변환하는 양자화 모델이다. 첫 번째 레벨에서 거친 군집을, 두 번째 레벨에서 세부 식별자를 할당해 전체 어휘 수를 제어하면서 미세 구분을 유지한다. 본문에서는 두 레벨 각 32,768 크기를 사용해 총 65,536개의 SID 토큰을 생성했다.