FSQ
Finite Scalar Quantization (FSQ)
스칼라 양자화 레벨의 카르테시안 곱으로 어휘를 구성하는 무코드북(implicit codebook) 양자화 기법입니다. 특징을 저차원 양자화 공간으로 투영한 뒤 각 스칼라 차원을 독립적으로 양자화하여 이산 심볼을 생성합니다. PhiZero에서는 (8,5,5,5,5,5) 레벨 설정을 사용해 약 25K 심볼 어휘를 얻었습니다.
Finite Scalar Quantization (FSQ)
스칼라 양자화 레벨의 카르테시안 곱으로 어휘를 구성하는 무코드북(implicit codebook) 양자화 기법입니다. 특징을 저차원 양자화 공간으로 투영한 뒤 각 스칼라 차원을 독립적으로 양자화하여 이산 심볼을 생성합니다. PhiZero에서는 (8,5,5,5,5,5) 레벨 설정을 사용해 약 25K 심볼 어휘를 얻었습니다.
